CH-06 编码器与解码器
在许多任务中,输入与输出都是序列,但两者的长度、顺序乃至模态都可能不同。例如,机器翻译把一种语言的句子转换为另一种语言,语音识别把声学帧序列转换为文字,而图像描述 (image captioning) 则把一张图片转换为一句话。对于这类任务,编码器—解码器 (Encoder–Decoder) 是一种通用的处理结构:编码器负责把输入转换为中间表示,解码器则根据中间表示生成输出。
这一划分方式与具体的网络类型无关,它既可以用 RNN 实现,也可以用 CNN 或注意力机制实现。真正决定模型能力的,是二者之间的接口:中间表示究竟是一个向量还是一组向量,以及解码器在每一步如何读取它。
1. 序列到序列映射
1.1 问题形式
首先形式化地描述这一问题。记源序列为 $x=(x_1,\ldots,x_n)$,目标序列为 $y=(y_1,\ldots,y_m)$,模型需要计算的是条件概率 $p_\theta(y\mid x)$。在一般情况下,源序列长度 $n$ 与目标序列长度 $m$ 并不相同,并且位置之间也不存在固定的对应关系。
以英译中为例:I / like / you / very / much 包含 5 个 token,而“我 / 很 / 喜欢 / 你”只包含 4 个;并且,英文句末的 very much 对应的是中文动词前的“很”。由此可见,翻译不仅需要建立内容上的对应关系,还需要处理长度的变化与语序的调整,因此不能简单地把相同位置上的词逐个替换。
把这两个句子中意义对应的词用线连起来,就能直观地看到长度与顺序上的差异:
1.2 两阶段分解
针对上述问题,序列到序列 (Sequence-to-Sequence, Seq2Seq) 模型把整个映射过程分为两个阶段:
其中,编码器只处理输入,因此可以一次性读完整个源序列;而解码器则按照第 05 章介绍的自回归方式,逐步生成输出。两者通常拥有各自独立的参数,但会在同一个损失函数下进行联合训练。
同样的分工也出现在其他领域中。例如,在语音识别中,编码器处理的是声学特征;在图像描述中,编码器是一个 CNN 或视觉 Transformer;而这两种示例结构的解码器均是 autoregressive 文本生成器。虽然输入层、损失函数和生成规则会随任务而变化,但“编码输入—条件生成”这一计算关系始终保持不变。
2. RNN Seq2Seq 与固定长度上下文
2.1 结构
上述两阶段分工可以用循环网络实现。2014 年,Sutskever 等人以 LSTM、Cho 等人以带门控的循环单元构建 Encoder–Decoder。两类模型都沿源序列顺序更新状态,再以源端状态约束目标生成。为分离这一数据流与门控细节,以下用基本 RNN 写出编码器的递推关系:
读完整个源序列之后,取最终状态 $c=h_n$ 作为上下文向量 (context vector)。随后,解码器以 $s_0=c$ 作为初始状态,并输入右移之后的目标 token:
其中,$y_0$ 为开始标记 <bos>。在这一结构中,源句只能通过初始状态影响解码过程,而目标前缀则通过逐步输入的 token 来更新解码状态。Sutskever 等人使用了 4 层 LSTM,并且发现把源句倒序输入能够明显提升效果。这是因为倒序之后,源句的开头与译文的开头在时间上更加接近,从而缩短了最相关信息之间的传递距离。而这个技巧本身,恰恰暗示了固定上下文结构所存在的问题。
下图展示了这一结构的完整数据流。编码器与解码器之间只有一条通路,即最后一个隐藏状态 $c$:
2.2 单一上下文向量的限制
具体来说,无论源句有多长,解码器所能获得的都只是一个固定维度的向量 $c$。因此,源句越长,需要压缩进同样维度的信息就越多。Cho 等人在同年的分析中观察到,这类模型的翻译质量会随着句子长度的增加而明显下降。这种现象通常称为 fixed-length context bottleneck,指完整源序列只能通过一个固定维度的状态影响解码器。状态维度、训练数据与优化方法都会影响压缩的信息量,因此不能仅凭源句长度推断具体误差。
下图用示意曲线概括了这一现象,以及引入注意力之后的变化趋势(第 5 节):
3. 编码器接口与张量形状
为了更具体地理解这一结构,下面用基本 RNN 实现一个固定上下文的编码器与解码器。在这个例子中,源词表与目标词表是独立编号的:英文 I、like、you 的编号为 1、2、3;中文 <bos>、我、喜欢、你、<eos> 的编号为 1、2、3、4、5。
1 | import torch |
运行结果:
1 | logits: torch.Size([1, 4, 6]) |
该算例将同一个序列损失连接到源端与目标端的 Embedding(将 token 编号映射为可学习向量的表示),说明两部分能够联合优化。输出形状规定每个目标位置有一组词表分数,而两侧参数上的梯度表明监督信号可以通过解码状态传回编码器。
其中,nn.RNN 会同时返回两种输出,二者的形状和用途都不相同:
此外,在这段代码中还有几个接口细节值得注意:
- 两种输出形状。 当
batch_first=True时,序列输出的形状为[B,S,H];而最终状态的形状则始终是[层数×方向数,B,H]。由于本例是单层单向 RNN,第一维为 1。需要注意的是,解码器的初始状态需要的是后一种形状。 - 变长批次。 RNN 会在补齐的位置上继续递推,因此即使
<pad>的 Embedding 为零,状态也仍然会发生变化。这意味着补齐之后的“最终状态”并不是真实句末的状态。所以,在实际实现中需要记录有效长度,例如借助pack_padded_sequence来处理。 - 维度不一致。 如果编码器与解码器的隐藏维度不同,就需要一个可学习的线性映射来转换状态;如果层数或方向数不同,还需要额外规定状态的选择与合并方式。
其中,变长批次的问题最容易被忽视。下图展示了补齐之后直接取最后一个状态会发生什么:
4. 保留全部源位置
若解码器只能访问句末状态,较早源位置的细节必须经过多次状态传递。因此,增加可访问的源端状态,可以缩短解码器获取这些信息的路径。编码器在得到最终状态 $h_n$ 的过程中,已经计算出了每个源位置的状态。如果把它们全部保留下来,就得到了一个随源序列长度增长的源表示:
其中,分号表示按位置堆叠。这组向量通常被称为 memory。源句越长,保留的向量就越多。解码器不再必须从一个句末向量恢复全部内容,而可以在不同生成步骤读取不同的源位置。编码器仍然需要在每个位置形成有用的有限维表示。
不过,这里需要区分两个不同的属性:一是保留了多少个位置,二是每个位置包含了多大范围的上下文。例如,单向 RNN 的 $h_j$ 只包含位置 $j$ 及其之前的输入;双向 RNN 把正向与反向的状态拼接在一起,因此每个位置都能看到整个句子;而 Transformer 编码器则通过 self-attention(自注意力),让每个位置直接读取其余所有位置。由此可见,memory 是经过上下文计算之后的表示,而不是原始词向量的简单集合。
下图对比了三种编码器:它们都保留了三个状态,但每个状态所依赖的输入范围各不相同。
另外,在离线翻译中,模型在生成开始之前就已经获得了完整的源句,因此目标的每一步都可以读取任意的源位置,而自回归的限制只作用于目标序列。与之不同,同声传译、流式语音识别等任务的输入是陆续到达的,因此源端的可见范围还需要另行约束。
5. 注意力:按需读取 memory
5.1 Bahdanau 注意力
有了 memory 之后,还需要一种机制来决定解码器在每一步应该读取什么内容。对此,Bahdanau 等人在 2014 年提出了如下方法:首先,用当前的解码状态 $s$ 与每个源表示 $h_j$ 计算匹配分数;然后,将这些分数归一化为权重;最后,用权重对源表示进行加权求和:
具体到评分函数,Bahdanau attention 用前一步的解码状态与各源端状态计算 additive score。省略偏置时,可写为:
其中,$u_j$ 是匹配特征,$W,U,v$ 为可学习参数,按本系列的行向量约定,$W$ 与 $U$ 把两类状态映射到相同的评分维度,列向量 $v$ 再将该特征映射为一个标量。这种评分方式称为 additive attention(加性注意力)。随后,Luong 等人(2015)比较了几种更简单的乘性形式,例如 $\operatorname{score}(s,h_j)=sWh_j^\top$。而 Transformer 所采用的 scaled dot-product attention,正是乘性形式的一种(第 07 章)。
在这一机制中,上下文向量 $c$ 会在每一步重新计算。当解码状态发生变化时,分数、权重与读取结果也会随之变化,因此解码器在生成不同的目标词时,可以关注源句中的不同部分。如果把这些权重可视化,往往可以看到近似于词对齐 (word alignment) 的模式。
为了更具体地理解这一机制,下图展开了解码某一步时的完整计算过程:解码状态先与每个源状态打分,分数经 softmax 转换为权重,最后按权重对源状态求和得到上下文向量。
5.2 数值示例
以一次上下文读取为例,为三个源位置指定二维表示 $[1,0]$、$[0,2]$、$[-1,1]$,如果某一步的权重为 [0.1,0.2,0.7],那么读取的结果为:
矩阵乘法将按行排列的源向量与对应权重组合起来:
1 | memory = torch.tensor([[1., 0.], [0., 2.], [-1., 1.]]) |
运行结果:
1 | tensor([-0.6000, 1.1000]) |
在二维平面上画出这三个向量,加权求和的几何含义便一目了然:
第三个源向量在这次加权求和中的系数最大。但需要注意的是,这并不等于“第三个源词决定了当前的译文”:一方面,$h_3$ 本身可能已经包含了其他位置的信息;另一方面,$c$ 还需要经过解码器的后续计算,才能影响最终的输出概率。因此,注意力权重描述的只是一次聚合中的系数分配,不能直接将其当作对预测结果的完整解释。
5.3 cross-attention 与 self-attention
像上面这样,读取需求来自一个序列(目标侧状态)、而被读取的内容来自另一个序列(源侧 memory)的注意力,被称为cross-attention(交叉注意力)。其中,Query 与 Key/Value 来自不同序列,但不要求两个序列属于不同模态。与之相对,self-attention 则是在同一个序列内部进行位置之间的信息聚合。
具体而言,如果目标侧有 $m$ 个查询位置、源侧有 $n$ 个位置,那么权重矩阵的形状为 $m\times n$,其中每一行表示一个目标位置对全部源位置的权重分配。在这种情况下,源端的补齐位置需要被屏蔽,而其余的源位置则全部可见,包括位于句子后半部分的内容。因此,cross-attention 中的掩码与目标 self-attention 中的 causal mask(因果掩码),其含义是完全不同的。
以第 1 节的英译中例子为例,下图画出了一个 $4\times6$ 的 cross-attention 权重矩阵,其中最后一列是源端的填充位置:
6. 端到端训练与源表示复用
在训练方面,编码器与解码器的参数可以合记为 $\theta$,并以目标序列的负对数似然作为损失:
在反向传播时,梯度从解码器的输出出发,经过状态传递或注意力聚合,一直传递到编码器的参数。例如,前面代码中的一次 loss.backward(),就同时为两部分的 Embedding 计算了梯度。因此,编码器受到的是当前序列任务的监督,其源表示需要保留有助于目标预测的信息。该目标本身不保证表示对其他任务同样有效。
而在推理方面,同一个源句只需要编码一次,得到的 memory 可以在所有生成步骤中复用。为此,可以把模型拆分为 encode(source) 与 decode(prefix, memory) 两个接口,从而直接表达这一数据流;相比之下,如果每一步都调用完整的 model(source, prefix),虽然结果相同,却会重复执行源侧的计算。
下图对比了训练与推理两个阶段的数据流:
7. 编码器—解码器与自编码器
最后,需要区分两个名称相近的概念。自编码器 (Autoencoder) 是另一类模型:它先把输入 $x$ 编码为中间表示,再将其重建为 $\hat x$,并以重建误差作为训练目标,常用于降维、去噪和表示学习。相比之下,翻译模型虽然同样包含编码器和解码器,但它的目标是另一个序列,因此属于序列转换任务。简而言之,“编码器—解码器”描述的是结构上的分工,而“自编码器”描述的是训练任务。
此外,编码过程也并不以“压缩”为必要条件。例如,Transformer 编码器的每一层都保持序列长度和模型维度不变,它所追求的是适合下游任务的表示,而不是更小或可逆的表示。
下图把这几种结构放在一起对比:
这一套组件还可以拆开来单独使用:如果只保留编码器,并在其上接入分类头或逐位置预测头,就可以用于文本分类与序列标注(如 BERT);如果只保留带 causal mask 的解码器,则可以用于语言建模与文本续写(如 GPT)。而原始 Transformer 同时保留了两者,并通过 cross-attention 将它们连接起来:编码器处理完整的源序列,解码器处理目标前缀,而 cross-attention 则在每一层把源信息引入目标位置。
参考资料
[1] Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola. Dive into Deep Learning. Cambridge University Press, 2023. Online chapters: The Encoder–Decoder Architecture, Sequence-to-Sequence Learning.
[2] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to Sequence Learning with Neural Networks. Advances in Neural Information Processing Systems 27, 2014.
[3] Kyunghyun Cho, Bart van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, 2014.
[4] Kyunghyun Cho, Bart van Merriënboer, Dzmitry Bahdanau, and Yoshua Bengio. On the Properties of Neural Machine Translation: Encoder–Decoder Approaches. Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, 2014.
[5] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. International Conference on Learning Representations, 2015.
[6] Minh-Thang Luong, Hieu Pham, and Christopher D. Manning. Effective Approaches to Attention-based Neural Machine Translation. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, 2015.
[7] PyTorch Contributors. RNN. PyTorch documentation.
- Code and experiment data: 06-examples.py.





