CH-03 文本的表示:Token、Embedding 与 Tensor
前两章讨论的网络与概率模型都以数值张量作为输入,然而文本本身是字符串。因此,在字符串进入 Transformer 的第一层之前,需要先经过一条固定的处理路径:
上式中,$a$ 为原始字符串,$u$ 为 token 序列,$X$ 为单条序列的向量表示,$\mathcal X$ 为补齐后组成的批量张量。沿这条路径,先将文本切分为 token,再按词表转换为整数编号;Embedding(将 token 编号映射为可学习向量的表示) 参数矩阵保存各 token 的可学习向量,最终通过查表与批次组织得到网络的浮点输入。区分这些对象,还需要区分 token 身份、序列位置和特征分量三个不同的索引;后续注意力与损失中的掩码均建立在这一对应关系上。
1. 分词:确定基本单位
1.1 分词粒度
处理文本的第一步,是由Tokenizer(分词器) 把字符串切分为一串 token(词元)。根据切分的粒度,常见的方案可以分为以下三种:
- 词级 (word-level):一个词对应一个 token。这种方式的序列较短,单位的含义也较完整,但词表会非常大,并且无法处理训练时未见过的词(即out-of-vocabulary(词表之外的词,OOV)),只能将它们统一映射为未知标记。
- 字符级 (character-level):一个字符对应一个 token。这种方式的词表较小;若字符表覆盖输入字符,就可以避免词级 OOV 问题;字符表之外的字符仍需额外处理。相应的代价是序列通常更长,模型需要根据多个字符组合词义。
- 子词级 (subword-level):介于上述两者之间,高频词保留为一个整体,而低频词则被拆分为若干高频片段。例如,英文单词
unhappiness可以被拆分为un / happi / ness。
Subword tokenization 在词表大小、序列长度与未知词处理之间提供折中,因此广泛用于语言模型和神经机器翻译。具体的切分单位仍取决于语料、语言和 tokenizer 的配置。
下图以一个见过的词和一个没见过的词为例,对比了三种粒度的切分结果。词级方案遇到新词时只能输出未知标记,字符级方案的序列明显变长,而子词级方案则能用已有的片段组合出新词。
1.2 BPE 的合并过程
在各种子词算法中,Byte Pair Encoding(字节对编码,BPE) 是最常用的一种,它由 Sennrich 等人于 2016 年引入神经机器翻译领域。其基本思想是:从单个字符出发,反复把语料中出现频率最高的相邻符号对合并为一个新符号。
以一个小型语料为例,四个词及其出现次数如下:
1 | l o w ×5 |
每次合并后,都需要依据更新后的符号序列重新统计相邻对。初始语料中,e s 与 s t 都出现了 $6+3=9$ 次,并列最高。按照固定的并列规则,先将 e s 合并为 es。此时 newest 变为 n e w es t,其中原有的 w e 变成了 w es,所以 w e 的计数从 8 降为 2。新的最高频符号对是 es t(9 次),将其合并为 est 后,l o 与 o w 以 7 次并列最高;选择 l o 合并为 lo,下一轮再将 lo w(7 次)合并。由此得到的前四条合并规则为:
1 | e + s → es |
每次合并引入一个新的符号,因此合并次数与基础符号表、特殊 token 数量共同决定词表大小。对新文本进行编码时,只需按照学到的顺序依次应用这些合并规则即可。例如,即使 lowest 从未在语料中出现过,它也可以被表示为 low / est。
下图逐步展示了这四次合并。每一列的上半部分是合并之前出现次数最高的几个符号对,下半部分是合并之后的语料;新生成的符号用绿色标出。
BPE 的合并规则以字符或字节为起点,应用规则之前的预处理同样会影响最终 token。WordPiece 是 BERT 使用的 subword 方案;SentencePiece 则是支持 BPE 和 Unigram 等算法的 tokenizer 工具,能够直接从原始文本训练,并显式表示空白字符,无须先做词级切分。GPT-2 的 byte-level BPE(字节级 BPE)使用覆盖 UTF-8 字节的基础词表,使有效输入文本能够退回字节单位进行编码。
1.3 分词器训练与模型训练
需要注意的是,分词器的训练与语言模型参数的训练是两个相互独立的过程。前者根据语料统计确定切分规则和词表,完成之后便保持固定;后者则学习每个 token 的向量表示以及网络的其余参数。因此,一个训练好的模型必须与它配套的分词器一起使用,如果换用其他分词器,编号与参数表之间就会发生错位。
另外,分词方式还会影响模型的计算成本。同一句话在不同分词器下得到的 token 数量可能相差数倍,而 Transformer 的注意力开销会随序列长度的平方增长(第 11 章)。
2. 词表、特殊 token 与编号
2.1 一个示例词表
完成分词后,需要把每个 token 转换为网络能够索引的整数。Vocabulary(词表)规定 token 与整数编号之间的对应关系。例如,一个包含 $V=9$ 个 token 的词表可以写为:
1 | 编号 Token |
其中,$V$ 表示词表大小。除普通 token 之外,词表中通常还包含几类特殊 token (special token):<pad> 用于把较短的序列补齐到统一长度;<unk> 表示词表无法直接表示的未知项;<bos> 与 <eos> 则分别标记序列的开始和结束。需要注意的是,特殊 token 的名称、编号和用法因模型而异。例如,BERT 使用 [CLS]、[SEP]、[MASK] 等标记,而采用字节级 BPE 的模型通常没有 <unk>。
按照在两端分别添加 <bos>、<eos> 的约定,下面两条序列被编码为:
1 | 我 喜欢 你 → [<bos>, 我, 喜欢, 你, <eos>] → [2, 4, 5, 6, 3] |
编号序列保留了原有的顺序。但是,数组中存在位置轴,并不意味着模型就能够利用这一顺序;后者取决于网络结构本身,第 4.2 节会对此进行说明。
2.2 编号与 one-hot representation
在得到编号之后,还需要确定编号是否可以直接充当数值特征。编号只是一个标识:例如,“我”的编号为 4,“你”的编号为 6,二者的差值 2 并没有任何语义;并且,如果把词表整体重新排列,只要同步调整模型中所有按词表索引的参数,模型的行为就完全不会改变。因此,编号不能直接作为数值特征送入网络。
一种直接的替代方案是one-hot representation(独热表示),它用一个长度为 $V$ 的向量标记类别身份:当前编号的位置取 1,其余位置取 0。例如,“我”对应的 one-hot 向量为:
然而,任意两个不同 token 的 one-hot 向量都相互正交,它们之间的欧氏距离也都相同。换言之,这种表示虽然能够区分身份,却不包含任何相似性信息:“猫”和“狗”之间的距离,与“猫”和“量子”之间的距离完全相同。此外,当词表规模达到数万时,显式 one-hot 向量需要存储大量为零的分量。因此,在实际实现中,输入通常以 torch.long 类型的整数编号存储,再由 Embedding 层直接按索引查表,而不会显式地构造 one-hot 向量。
3. Embedding:从编号到向量
3.1 参数矩阵与查表
One-hot 区分类别身份,却使所有不同 token 具有相同距离。为了让模型根据监督信号学习不同 token 之间的关系,可以为每个 token 分配一个 $D$ 维的稠密向量。把整个词表的向量按编号排列,就得到了 Embedding 参数矩阵:
其中,第 $t$ 行 $E_t$ 就是编号为 $t$ 的 token 所对应的向量。按索引取出一行,与用 one-hot 向量乘以该矩阵是等价的:
这是因为 one-hot 向量只有一项为 1,矩阵乘法的结果恰好选出了对应的一行,而查表实现则省去了其余为零的乘法。由此可见,Embedding lookup 在代数上等价于以 one-hot 向量为输入、无偏置的线性映射;其实现通过整数索引直接选择参数行。
3.2 数值示例
下面通过一个数值例子说明查表过程。取 $D=4$,并给定以下几行参数(这些参数未经训练,坐标本身不包含预先规定的含义):
它们依次对应 <bos>、<eos>、“我”“喜欢”“你”。于是,编号序列 $[2,4,5,6,3]$ 经过查表后得到:
在这个矩阵中,每一行对应一个位置,每一列对应一个特征分量。而另一条序列 $[2,6,5,4,3]$ 则从同一张表中取出相同的行,只是它们的排列顺序不同。
下面显式设置参数矩阵,并核对查表与 one-hot 矩阵乘法的等价性。
1 | import torch |
运行结果:
1 | tensor([[ 0.0000, 0.0000, 1.0000, 0.0000], |
one-hot 张量需要先转换为浮点类型,才能与 E 相乘。padding_idx=0 使该层在初始化时将填充行置零,并在反向传播时跳过该行的梯度累积;它并不代替后续的掩码。
把上述过程画出来,查表的含义便十分清楚:编号序列中的每个整数指向参数矩阵 $E$ 的某一行,把这些行按原来的顺序堆叠起来,就得到了输入矩阵 $X$。
3.3 Embedding 的学习
Embedding 参数与网络的其余参数一起,通过反向传播进行更新。如果同一个编号在一个批次中出现多次,那么各次使用都会指向同一行参数,相应的梯度也会累加到这一行上。训练目标使 Embedding 在上下文预测或下游任务中获得统计意义。在上下文用法相近的 token 之间,通常可以观察到表示上的相似性;这一思路对应distributional hypothesis(分布假设),即词语的分布式上下文提供其语义特征的线索。向量的具体几何关系仍取决于训练目标和语料。word2vec(Mikolov 等,2013)就是专门利用这一假设来预训练词向量的方法;与之不同,Transformer 中的 Embedding 通常与整个模型一起进行端到端训练。
此外,不少模型还让输入 Embedding 与输出层的词表投影共享同一个参数矩阵,这一做法被称为weight tying(共享输入 Embedding 与词表输出参数),原始 Transformer 同样采用了这一设计(第 10 章)。
4. 上下文化表示与位置信息
4.1 静态向量的局限
Embedding 提供了可学习的 token 向量,但单次查表仍只依赖编号,不包含当前句子的上下文。也就是说,同一个 token 在任何句子中查出的都是同一个向量,因此无法区分多义词,例如“苹果发布了新手机”与“把苹果削皮”中的“苹果”,或者 bank 在金融语境与河流语境中的不同含义。
为了解决这一问题,需要借助具备跨位置交互能力的网络,把上下文信息带入每个位置的表示中。设第 $\ell$ 层中位置 $i$ 的隐藏向量为 $h_i^{(\ell)}$,它的依赖关系可以写为:
其中,$e_j$ 是位置 $j$ 的初始向量,$\theta$ 是网络参数,$P$ 为位置信息,$M$ 为可见范围,规定该位置允许读取哪些输入(例如全句,或仅限已有前缀)。这样一来,两处相同的 token 虽然初始向量相同,但由于周围的输入不同,就可以得到不同的 $h_i^{(\ell)}$,这种表示被称为上下文化表示 (contextualized representation)。需要注意的是,它是一次前向计算中产生的激活,模型并没有为每个句子新建一张 Embedding 表。ELMo、BERT 等模型的主要贡献之一,正是用上下文化表示取代了静态词向量。
下图对比了“苹果”在两种语境中的计算过程:查表之后,两处“苹果”的向量完全相同;只有经过读取其他位置的上下文计算之后,二者才分化为不同的表示。
4.2 位置信息
除了上下文之外,另一类差异来自顺序。例如,“我喜欢你”与“你喜欢我”的 token 集合完全相同,差别只在于位置。第 08 章将会证明,不含位置信息的 self-attention(自注意力) 对输入的排列是等变的:交换两个输入的位置,只会同样地交换对应的输出,因此模型无法据此判断谁在前、谁在后。所以,Transformer 需要在输入中显式地加入positional encoding(位置编码)。其中,Token Embedding 提供身份信息,positional encoding 提供次序信息,二者相加之后再进入网络。
图中沿用第 3.2 节的嵌入参数,只保留“我/喜欢/你”三个普通 token,并将它们的位置编号设为 0、1、2。查表结果记为 $X$;原始 Transformer 将其乘以 $\sqrt D$ 后,与正余弦 positional encoding $PE$ 逐元素相加,得到输入表示 $H=\sqrt D\,X+PE$。本例 $D=4$,缩放系数为 2。
5. 批量张量与轴语义
5.1 形状
为了充分利用硬件的并行能力,实际计算通常会把多条序列组成一个批次 (batch)。设批量大小为 $B$,统一之后的序列长度为 $L$,表示维度为 $D$,则 Embedding 的输出为:
其中,三个轴依次表示样本、位置、特征。然而,不同序列的长度往往不同,因此需要在较短序列的末尾补上 <pad>:
1 | ids = |
此时,编号张量的形状为 $[2,5]$,查表之后变为 $[2,5,4]$。例如,X[0, 1] 取出第一条序列中“我”的四维向量,而 X[:, :, 0] 则取出所有样本、所有位置的第一个特征分量。此外,nn.Linear(4, 6)(X) 只变换最后一个轴,因此输出形状为 $[2,5,6]$,样本轴与位置轴保持不变。
把两条序列组织为批次之后,可以直接检查各个轴与索引:
1 | ids = torch.tensor([[2, 4, 5, 6, 3], [2, 4, 5, 3, 0]]) |
运行结果:
1 | torch.Size([2, 5, 4]) |
为了更直观地理解三个轴的含义,下图把这个批量张量画成了两个前后叠放的切片,并标出了上面两种索引所对应的元素。
5.2 transpose 与 reshape
需要注意的是,不同接口可能采用不同的轴顺序。例如,nn.Transformer 与 nn.MultiheadAttention 默认使用 [L,B,D],只有设置 batch_first=True 才会改为 [B,L,D]。在这种情况下,可以使用 transpose(0, 1) 交换样本轴与位置轴:每个元素仍然对应原来的样本和位置,只是访问顺序发生了变化。
与之不同,reshape 按照内存中的元素顺序重新划分形状,一般不能代替轴交换。例如,把 [2,5,4] 的张量 reshape 为 [5,2,4],虽然形状与转置的结果相同,但元素与样本、位置之间的对应关系已经被打乱,而程序并不会报错。由此可见,张量的意义由形状、轴的语义以及元素的对应关系共同确定,仅仅检查形状并不足以保证正确性。
例如,给两个样本分别编号为 0–2 和 3–5,就能直接比较两种操作:
1 | small = torch.arange(6).reshape(2, 3) |
运行结果:
1 | tensor([[0, 3], |
下面用一个形状为 $[2,3]$ 的小张量来说明二者的区别。其中,每个元素都标注了它所属的样本 $b$ 与位置 $l$:
6. Padding 与有效位置掩码
6.1 掩码的必要性
前文提到,填充的作用只是对齐长度,它并不属于句子的实际内容。因此,需要额外记录哪些位置是有效的。对于上面的批次,其有效位置掩码 (valid mask) 为:
1 | valid = |
其中,True 表示有效位置(包括开始和结束标记),而第二条序列末尾的 False 则对应填充位置。
对此,一个常见的误解是:只要把 <pad> 的 Embedding 设为零向量,就不再需要掩码。下面以求平均为例进行说明。第二条序列中四个有效向量之和为 $[1,1,1,1]$,按有效位置求平均时应除以 4,得到 $[0.25,0.25,0.25,0.25]$;然而,如果直接对五个数组位置求平均,结果则为 $[0.2,0.2,0.2,0.2]$。可见,零向量虽然没有改变分子,却改变了分母。
一般地,设 $m_{b,i}\in\{0,1\}$ 表示样本 $b$ 的位置 $i$ 是否有效,并且每个样本至少有一个有效位置,则有效位置的平均值为:
按上述公式计算有效位置的均值,并与直接平均进行比较:
1 | valid = ids.ne(0) |
运行结果:
1 | tensor([[ True, True, True, True, True], |
valid[..., None] 将掩码变成 [2,5,1],乘法时沿特征轴广播。第二条序列有四个有效位置,因此分母为 4。
同样的问题也出现在注意力机制中:即使填充位置的 Value 为零,它仍然会在 softmax 中分走一部分权重,从而减少有效位置所获得的总权重。因此,填充位置必须在 softmax 之前就被屏蔽(第 07 章)。更何况,在加入 positional encoding 或偏置之后,填充位置的表示通常也不再为零。
下图对比了上述两种情况。左侧是求平均时分母的差异,右侧则是注意力中不加掩码时填充位置所分走的权重。
6.2 三处需要处理填充
具体而言,一个批次中的填充需要在以下三个地方分别处理,并且它们之间不能相互替代:
- 注意力的 Key:使用 padding mask(填充掩码),阻止任何位置读取填充位置。
- Query 的输出:屏蔽 Key 并不能让填充位置自身的输出为零,因此在对输出进行池化或聚合时,需要再次按掩码排除这些位置。
- 损失函数:填充位置的标签不应计入损失。对于交叉熵,可以使用
ignore_index忽略指定的标签编号。
以注意力权重矩阵为例,下图标出了这三处处理分别作用在什么地方:
另外,不同接口对布尔掩码含义的约定也不尽相同。例如,在 PyTorch 的 nn.MultiheadAttention 中,key_padding_mask 的 True 表示忽略该位置,因此上面的有效位置掩码需要先取反,即 key_padding_mask=~valid。
最后,padding mask 与 causal mask(因果掩码) 表达的是不同的约束:前者排除的是为了对齐长度而补入的无效位置,而后者禁止当前位置读取未来的位置。换言之,一个 token 可以真实存在,却因为位于未来而对当前查询不可见(第 05 章)。
参考资料
[1] Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola. Dive into Deep Learning. Cambridge University Press, 2023.
[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, 2016.
[3] Taku Kudo and John Richardson. SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 2018.
[4] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781, 2013.
[5] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. Deep Contextualized Word Representations. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2018.
[6] PyTorch Contributors. Embedding. PyTorch documentation.
[7] PyTorch Contributors. MultiheadAttention. PyTorch documentation.
- Code and experiment data: 03-tensors.py, 03-examples.py.





