CH-10 Transformer 结构
前面各章分别建立了跨位置的信息聚合、顺序表示和深层特征变换。要完成机器翻译,还需要将这些组件组织成一条条件生成的数据流:源句各位置的表示必须能够被不同目标位置读取,而目标预测只能依赖已有前缀。
原始 Transformer 为此采用 Encoder–Decoder 结构:首先,编码器形成完整源序列的上下文表示;随后,解码器交替处理目标前缀和读取源端信息,最后输出目标词表上的分布。Embedding(将 token 编号映射为可学习向量的表示)、positional encoding(位置编码)、multi-head attention(多头注意力)、LayerNorm(逐位置的特征归一化) 与 FFN(逐位置前馈网络) 在这条数据流中具有不同的作用,目标右移和 causal mask(因果掩码) 则共同保证训练时不泄露答案。
1. 整体结构与模型配置
1.1 结构概览
从整体上看,原始 Transformer 由编码器堆栈和解码器堆栈两部分组成。其中,编码器读取完整的源序列,并输出每个源位置的上下文表示;而解码器则以右移之后的目标序列作为输入,在每一层中通过 cross-attention(交叉注意力) 读取编码器的输出,最终预测下一个目标 token。
为了把前面各章的组件串联起来,下图标出了数据在整个网络中流动时的张量形状:
1.2 两种配置
原始 Transformer 有 Base 与 Big 两种配置:
| 配置 | 层数 $N$ | $d_{\mathrm{model}}$ | $d_{\mathrm{ff}}$ | 头数 $h$ | $d_k=d_v$ | Dropout | 参数量 |
|---|---|---|---|---|---|---|---|
| Base | 6 | 512 | 2048 | 8 | 64 | 0.1 | 约 65M |
| Big | 6 | 1024 | 4096 | 16 | 64 | 0.3(英法为 0.1) | 约 213M |
在这两种配置中,编码器与解码器各有 $N$ 层。并且,同一个堆栈内的各层结构相同,但参数相互独立。
按照前几章给出的公式,可以估算出 Base 模型的参数构成:
2. 输入表示
首先来看数据流的起点。源序列的 token 编号经过 Embedding table 映射为向量,乘以 $\sqrt{d_{\mathrm{model}}}$ 之后与正余弦 positional encoding 相加,最后再进行 dropout:
这样一来,长度为 $S$ 的源序列就被表示为一个 $S\times512$ 的矩阵,其中每一行都同时包含了 token 的内容信息与位置信息。同样地,解码器也会对右移之后的目标输入执行相同形式的计算。
嵌入缩放的一种解释与数值尺度有关:嵌入参数通常以较小的方差进行初始化(并且与输出层共享),而 positional encoding 的每个分量都在 $[-1,1]$ 之间,因此放大嵌入可以避免位置信号在相加之后压过内容信号。
下图用具体数值对比了缩放前后嵌入与 positional encoding 的尺度:
此外,在英德翻译任务中,原始 Transformer 使用源语言与目标语言共享的 BPE 词表(约 37000 个 token),并让三处参数共享同一个矩阵,即源端嵌入、目标端嵌入,以及输出层 softmax 之前的线性投影。这种weight tying(共享输入 Embedding 与词表输出参数)(Press & Wolf, 2017)不仅减少了参数量,还使输入与输出的 token 表示保持一致。
下图展示了这一共享关系:
3. 编码器
在输入表示之上,编码器的每一层都包含两个子层:multi-head self-attention(多头自注意力) 与 FFN,并且二者均采用 Post-LN 结构(第 09 章)。设第 $\ell$ 层的输入为 $X^{(\ell-1)}$,则有:
需要注意的是,编码器的 self-attention 并不使用 causal mask。这是因为用于翻译的源句在生成开始之前就已经完整可用,所以每个源位置都可以读取其他所有位置,只需要屏蔽批量补齐所产生的 <pad> 即可。在此基础上,每一层都会在已经包含上下文的表示之上继续进行匹配与汇聚,再由 FFN 进行逐位置的变换。第一层已经可以访问完整源句;继续堆叠扩大的是上下文变换的深度,而不是第一次获得更远位置的访问权限。模型能否学到有效的高层关系,仍由参数与训练目标决定。
下图以第 3 个源位置为例,示意了它在逐层计算中所依赖的输入:
经过 $N$ 层编码之后,最终的源表示为 $M=X^{(N)}\in\mathbb R^{S\times d_{\mathrm{model}}}$,也就是第 06 章所说的 memory。随后,解码器的每一层都会读取同一个 $M$,但会使用各自的参数把它投影为 cross-attention 中的键和值。
在缩小的维度下执行一个编码器层,可以核对它保持序列长度与表示维度不变:
1 | import torch |
运行结果:
1 | torch.Size([1, 3, 32]) |
形状保持不变,使该层的输出能够继续输入下一层;注意力参数与 FFN 参数则分别决定跨位置聚合和逐位置特征变换。
4. 解码器
与编码器相比,解码器的每一层依次包含带掩码的 self-attention、cross-attention 和 FFN 三个子层。将一层的输入记为 $D$,则有:
下图把三个子层与各自使用的掩码放在一起对比:
4.1 带掩码的 self-attention
首先是第一个子层。第 $t$ 个预测只能依赖于源序列与目标前缀 $y_{<t}$,因此在训练时,需要把目标序列右移一位作为输入:
1 | 解码器输入:<bos> y1 y2 y3 |
由于所有位置会同时参与计算,还需要借助 causal mask,阻止每个位置读取其右侧的输入:
其中,对角线位置保留了访问权限,这是因为当前位置的输入是前一个 token,而它需要预测的标签是下一个 token。此外,由于逐位置的 FFN 与 LayerNorm 并不引入跨位置的依赖,只需要在每一层的 self-attention 中施加这一掩码,整个解码器就能够满足因果约束。
4.2 cross-attention
接下来是第二个子层。cross-attention 以解码器的当前表示作为查询,并以编码器的输出作为键和值的来源:
具体而言,当目标长度为 $T$、源长度为 $S$ 时,分数矩阵的形状为 $T\times S$,而输出保留 $T$ 行。在这一过程中,每个目标位置的查询已经通过前一个子层汇聚了目标前缀的信息,因此可以据此从源端读取所需的内容。另外,cross-attention 不使用三角掩码,只需要屏蔽源端的填充位置即可。
最后,在经过 $N$ 层解码器之后,目标前缀的表示与源端的信息会反复交互,最终形成用于词表预测的表示。
继续以 memory 为源表示,解码器可以处理长度不同的目标前缀:
1 | decoder = nn.TransformerDecoderLayer( |
运行结果:
1 | torch.Size([1, 4, 32]) |
输出保留目标端的四个位置。源序列有三个位置,二者并不要求等长。
5. 词表读出与训练目标
5.1 线性层与 softmax
在得到最终表示之后,就可以进行词表预测。具体来说,最后一层解码器的每个位置向量会经过一个线性投影,得到目标词表上的 logits:
需要注意的是,这里的 softmax 是沿着词表维度进行归一化的,而注意力中的 softmax 则是沿着序列位置进行归一化的,二者的含义并不相同(第 02 章)。由此,整条译文的概率与损失为:
结束标记也是一个需要学习的预测目标。在批量训练时,损失通常按有效 token 的数量取平均,并排除 <pad> 标签。值得强调的是,注意力中的 padding mask(填充掩码) 与损失中的 ignore_index 作用不同:前者防止模型读取填充内容,后者则防止把填充当作训练目标,因此二者都需要设置。
5.2 label smoothing
原始 Transformer 使用强度 $\epsilon_{ls}=0.1$ 的 label smoothing(对目标分布分配少量非目标概率质量)。它保留目标 token 的主要概率质量,同时向其他候选分配少量质量。下式采用 PyTorch 的约定,将 one-hot(以单个非零分量表示类别身份) 目标与全部类别上的均匀分布混合:
以 8 个类别为例,下图对比了平滑前后的目标分布:
结合第 02 章的讨论,最小化这一交叉熵,等价于让模型分布去接近一个不那么尖锐的目标分布,从而抑制模型对单一 token 给出极端的置信度。label smoothing 不保证改善所有指标;原始 Transformer 的实验中,困惑度变差,而准确率和 BLEU 提高。在 PyTorch 中,CrossEntropyLoss(label_smoothing=...) 采用的正是与类别均匀分布进行混合的定义。
6. Python 代码
6.1 模型定义
理解了整体结构之后,下面用 Python 编写一个与之对齐的模型。在 PyTorch 中,TransformerEncoderLayer 与 TransformerDecoderLayer 分别实现了编码器层与解码器层;其中,norm_first=False 对应于 Post-LN,activation="relu" 对应于原始的 FFN。下面的模型默认采用 Base 配置,并让源端嵌入、目标端嵌入与输出层共享同一个矩阵:
1 | import math |
运行结果:
1 | torch.Size([1, 4, 9]) |
其中,运行部分使用了一个包含 9 个 token 的共同词表和一个缩小的模型,完成了一次前向计算与反向计算。
6.2 实现要点
在前面的模型定义中,forward() 构造了三种掩码,其用途如下图所示:
在这段实现中,有以下几个要点值得注意:
- 逐层实例化。 使用
ModuleList逐个创建各层,可以保证各层的参数相互独立。反之,如果把同一个层对象重复放入列表,各层就会共享参数。 - 三种掩码。 编码器 self-attention 使用
src_key_padding_mask;解码器 self-attention 同时使用tgt_mask(causal mask)与tgt_key_padding_mask;而 cross-attention 使用的是memory_key_padding_mask,这是因为它的键和值来自源端。需要注意的是,这些接口的布尔掩码中,True表示禁止访问。 - 输入与标签对齐。
target[:, :-1]作为解码器的输入,target[:, 1:]作为标签,二者恰好错开一位。此外,模型的输出形状为[B,T,|V|],将前两维展平之后,每一行 logits 都与展平后的一个标签相对应。 - 损失接口。
CrossEntropyLoss接收原始的 logits,并能够同时处理填充标签与 label smoothing。
模型的梯度由词表损失出发,经解码器各子层、cross-attention 和编码器反向传递。共享 Embedding 矩阵同时接收源端查表、目标端查表和输出词表投影的梯度;优化器将这些梯度共同用于一次参数更新。完整训练流程见第 11 章。
7. 优化方法与实验结果
7.1 Adam 与 warmup 调度
原始 Transformer 使用的优化器是 Adam,其参数为 $\beta_1=0.9$、$\beta_2=0.98$、$\epsilon=10^{-9}$,并且学习率按照步数 $t$ 进行调整:
把上式画出来,可以直观地看到学习率随训练步数的变化:
1 | import matplotlib.pyplot as plt |
运行结果:
1 | peak step = 4000, learning rate = 0.0006988 |
具体而言,在前 4000 步中,学习率线性增长(即warmup(训练初期逐渐提高学习率));此后,学习率按照步数平方根的倒数进行衰减,因此峰值出现在第 4000 步。结合第 09 章的讨论,由于 Post-LN 在训练初期的梯度分布不均、对学习率较为敏感,warmup 的目的正是为了避免初期的大步更新破坏训练。相比之下,采用 Pre-LN 的模型通常可以缩短甚至去掉 warmup 阶段。
7.2 训练与解码
训练流程从句对预处理开始:源端与目标端数据先转换为各自的 token 序列,再按相近长度组成句对批次。英德实验使用约 450 万句对和共享 BPE 词表;英法实验使用约 3600 万句对和约 32000 项的 WordPiece 词表。源端 Padding、目标右移、目标 Padding 和逐位置损失分别在批次构造、注意力与训练目标中处理。
Base 模型在 8 块 NVIDIA P100 GPU 上训练了 10 万步,耗时约 12 小时;Big 模型训练了 30 万步,耗时约 3.5 天。其中,每个批次包含约 25000 个源 token 与 25000 个目标 token,并且句子按照长度相近的原则进行分批。
在训练阶段,teacher forcing(训练时使用参考序列的正确前缀) 与 causal mask 使所有目标位置能够在一次前向计算中并行处理。而在推理阶段,模型则从 <bos> 开始逐步生成:编码器的输出在整个生成过程中被复用,每一步都取最后一个位置上的词表分布。原始 Transformer 的解码设置为束宽 4、长度惩罚系数 0.6,最大输出长度为输入长度加 50。
下图对比了训练与推理两个阶段的计算方式:
7.3 实验结果
原始 Transformer 在 WMT 2014 翻译任务上的 BLEU 分数如下:
| 模型 | 英→德 | 英→法 |
|---|---|---|
| Transformer (Base) | 27.3 | 38.1 |
| Transformer (Big) | 28.4 | 41.8 |
Big 模型在英德任务上比此前最好的结果(包括集成模型)高出 2 BLEU 以上,而其训练成本却只是此前最佳模型的一小部分。这些结果说明,在相应翻译数据和评价设置下,去除循环结构能够兼顾并行训练与翻译质量,也为后续语言和视觉模型使用 Transformer 组件提供了依据。
参考文献
[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. Advances in Neural Information Processing Systems 30, 2017.
[2] Ofir Press and Lior Wolf. Using the Output Embedding to Improve Language Models. Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, 2017.
[3] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. Rethinking the Inception Architecture for Computer Vision. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016.
[4] Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola. Dive into Deep Learning. Cambridge University Press, 2023.
[5] PyTorch Contributors. TransformerEncoderLayer. PyTorch documentation.
[6] PyTorch Contributors. TransformerDecoderLayer. PyTorch documentation.
[7] PyTorch Contributors. CrossEntropyLoss. PyTorch documentation.
Code and experiment data: 10-examples.py.
Figure source: Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola, Dive into Deep Learning. transformer.svg, Original vector artwork, Reproduced without modification; Apache 2.0 license.





