07 自注意力机制
同一个 token 在不同句子中具有相同的初始 Embedding(将 token 编号映射为可学习向量的表示),但其语义取决于当前上下文。逐位置 MLP 无法读取其他位置,循环递推则需要逐步传递状态。Attention(注意力机制)提供另一种计算方式:让每个位置根据当前特征,直接从一组可访问的位置中聚合信息。
检索系统可以帮助区分这项运算中的三个对象。例如,在搜索引擎中输入一个查询之后,系统会把它与每篇文档的标题、关键词等索引信息进行比较,按照相关程度排序,然后返回文档的内容。在这一过程中,涉及三类对象:查询(即用户的需求)、键(即用于匹配的索引)以及值(即真正返回的内容)。其中,键与值属于同一篇文档,但二者不必是同一种表示,例如,标题用于匹配,而正文才是需要阅读的内容。
Soft attention 将匹配与读取组合为可微分的加权聚合运算。与传统检索相比,它主要有以下两点区别:
- Soft retrieval(软检索)。 与返回若干离散结果的检索操作相比,soft attention 为每个 Key 计算连续的匹配分数,将其归一化为权重之后,返回所有 Value 的加权平均。由于权重是分数的光滑函数,整个运算都可以求梯度,因此能够用反向传播进行训练。
- 匹配特征与输出内容可以分别学习。 在 Transformer 的 scaled dot-product attention 中,Query、Key 与 Value 由输入经过不同的可学习线性投影得到。模型通过训练目标共同优化评分所用的特征和被汇聚的内容。
下图对比了两种检索方式:
在此基础上,self-attention(自注意力) 是指查询、键、值都来自同一个序列的情形:序列中的每个位置都会向其他所有位置发出查询,并汇聚它们的信息。这样一来,同一个 token 在不同的上下文中就可以得到不同的表示。这也是 Transformer 能够取代 RNN 递推结构的核心运算。
1. 注意力的三个步骤
1.1 分数、权重与加权和
首先给出注意力的一般形式。将查询位置记为 $i$,被访问的位置记为 $j$,则有:
其中,$q_i$ 为 Query(查询向量),$k_j,v_j$ 分别为第 $j$ 个 Key(匹配向量)和 Value(待聚合的内容向量),$a$ 为评分函数,$n_k$ 为键值对的数量。上述三行公式依次对应三个步骤:计算匹配分数、用 softmax 归一化为权重,以及对值进行加权求和。由此得到的权重满足 $\alpha_{ij}\ge0$ 且 $\sum_j\alpha_{ij}=1$。
下面先把这三个步骤画出来,具体数值将在第 1.2 节中逐步推导:
1.2 一个三位置的数值例子
以下以“我”“喜欢”“你”组成的三位置序列为例,使用给定的分数和向量计算注意力。
具体而言,取第三个位置作为查询,它对三个位置的分数为 $s=[1.2,2.6,1.8]$。这些分数可以为负,并且没有总和的约束。通过 softmax,可以把它们转换为权重:
也就是说,三个值向量的系数依次约为 14.5%、59.0% 和 26.5%。需要注意的是,这只是本次计算中各个值的混合比例,而不是任何事件的预测概率。
按定义计算这组未缩放分数的权重:
1 | import torch |
运行结果:
1 | tensor([0.1454, 0.5896, 0.2649], dtype=torch.float64) |
在下面的交互图中,三个滑块直接控制送入 softmax 的分数(此处不做缩放)。可以观察到,改变任意一个分数都会改变归一化的分母,因此会同时影响所有位置的权重。
可视化需要 JavaScript。
此外,softmax 对共同平移是不变的,即对于任意常数 $c$,都有:
由此可见,决定权重的只是分数之间的差值。因此在实现时,通常会先减去最大的分数,以避免指数运算发生溢出。
2. Q、K、V 的投影与点积
2.1 线性投影
在明确了注意力的计算步骤之后,接下来的问题是:查询、键和值究竟从何而来?设输入序列为 $X\in\mathbb R^{n\times d_{\mathrm{model}}}$,其中每一行是一个位置的特征。一个 self-attention 头会使用三组参数矩阵,分别计算出查询、键和值:
因此,$Q,K\in\mathbb R^{n\times d_k}$,$V\in\mathbb R^{n\times d_v}$。由于 Q 与 K 之间需要计算点积,二者的维度必须相同;而 V 的维度则可以不同。此外,这三组矩阵在所有位置上都是共享的。
以三位置序列为例,下图展示了三组投影的形状变化:
那么,为什么需要三组不同的投影,而不直接使用 $X$ 本身呢?先考察评分部分,将分数矩阵展开:
如果直接使用 $XX^\top$,那么分数矩阵一定是对称的,并且每个位置与自身的点积 $\lVert x_i\rVert^2$ 也往往偏大。相比之下,独立的 $W^Q,W^K$ 使得 $QK^\top$ 不必对称,也就是说,位置 $i$ 对位置 $j$ 的关注程度,可以不同于 $j$ 对 $i$ 的关注程度。这使模型能够表达有方向的查询关系,而不要求位置 $i$ 与位置 $j$ 以相同分数读取彼此。语法依存也常具有方向,但注意力分数并不预先规定某一种语法关系。更进一步地,即使分数矩阵是对称的,由于逐行 softmax 的分母各不相同,最终的权重矩阵一般也不对称。对于内容聚合部分,独立的 $W^V$ 则让“取回的内容”与“用于匹配的特征”相互解耦。
下图用具体数值对比了两种打分方式:
2.2 点积的几何意义
得到 Q 和 K 之后,下一步是计算它们的匹配分数。点积把两个向量的对应分量相乘后再求和,例如 $[1,0]\cdot[1.2,0.4]=1.2$。对于非零向量,点积还可以写为:
由此可见,点积同时依赖于向量的长度与夹角,这与只考虑方向的余弦相似度有所不同。此外,$q_i$ 在 $k_j$ 方向上的投影为:
回到前面的例子。设第三个位置的查询为 $q=[1,0]$,三个键依次为 $[1.2,0.4]$、$[2.6,-0.5]$、$[1.8,1.2]$,那么三个点积恰好就是前面的 $[1.2,2.6,1.8]$。在下图中,键向量保持固定,可以拖动的是投影后的查询向量;其中,虚线表示查询向量到所选键方向上的正交投影。需要说明的是,此图只计算点积,并不进行缩放和归一化。
可视化需要 JavaScript。
3. 缩放因子与分数尺度
3.1 为什么要除以 $\sqrt{d_k}$
在实际的 Transformer 中,点积并不会被直接送入 softmax,而是需要先进行缩放。scaled dot-product attention(缩放点积注意力) 的分数定义为:
这一设计的依据已经在第 02 章给出:如果 $q,k$ 的各个分量相互独立、均值为 0、方差为 1,那么有:
也就是说,如果不进行缩放,点积的标准差会随着 $\sqrt{d_k}$ 增长。以原始 Transformer 为例,其中 $d_k=64$,因此未缩放点积的典型幅度大约是缩放后的 8 倍。不过需要注意的是,实际训练中的 Q、K 并不一定满足上述假设,所以这只是一种尺度分析,而不是精确的保证。
下面独立采样标准正态分量,比较不同维度下点积的经验分布。缩放后方差应接近 1;有限样本的直方图不会完全重合,不同维度下的分布形状也未必相同。
1 | import matplotlib.pyplot as plt |
运行结果:
1 | d= 4: variance=4.021, scaled=1.005 |
3.2 分数过大的后果
那么,分数的尺度过大会带来什么后果呢?当分数的尺度过大时,softmax 的输出会接近 one-hot(以单个非零分量表示类别身份) 分布:
这不仅会让注意力变成一种近乎硬性的选择,还会影响训练过程。具体而言,softmax 的导数为:
其中,$\delta_{ij}$ 在 $i=j$ 时为 1,否则为 0。当某个权重接近 1、而其余权重接近 0 时,所有这些导数都会趋近于零,因此梯度很难通过注意力传回 Q 和 K 的参数。除以 $\sqrt{d_k}$ 可以控制分数尺度,减轻 softmax 饱和;点积形式同时保留了矩阵乘法的计算效率。
下图定量地展示了这一现象:随着分数被整体放大,最大权重迅速逼近 1,而雅可比矩阵的最大元素则先增后减,最终趋于零。
下图把 $[1,2,3]$ 乘以一个可调的系数,并比较了是否除以 $\sqrt2$ 时的权重分布。在这里,向量维度保持固定,改变的只是分数的尺度。
可视化需要 JavaScript。
4. 矩阵形式与 Value 的几何意义
4.1 矩阵形式
前面的讨论针对的是单个查询。在实际计算中,可以把所有的查询、键、值按行组成矩阵,从而一次性计算所有查询位置的输出:
在权重矩阵 $A$ 中,行对应查询,列对应键;$A_{ij}$ 表示在计算第 $i$ 个输出时,第 $j$ 个值所占的系数。因此,输出的行数由查询的数量决定,而特征维度则由 $d_v$ 决定。由于整个运算只由两次矩阵乘法和一次逐行 softmax 构成,它非常适合在 GPU 上并行执行。
把给定的 Q、K、V 代入上式,可以看到每个中间矩阵的形状与数值:
下面保留三个查询位置,直接按矩阵公式计算全部权重与输出:
1 | Q = torch.tensor([[.6, .8], [.2, 1.3], [1., 0.]], dtype=torch.float64) |
运行结果:
1 | tensor([[0.2429, 0.2644, 0.4927], |
权重矩阵的每一行之和为 1。输出的第三行对应查询 $[1,0]$,可与下一节的加权和逐项核对。
这条数据流也是梯度传递的路径。若损失对输出的梯度记为 $G_O$,对 Value 和权重的梯度分别为:
前者使 Value 投影学习适合下游预测的内容;后者再经过逐行 softmax 的 Jacobian,传到分数矩阵及 Q/K 投影。因而,评分与内容聚合共同接受任务监督,并不需要额外指定某个头应当学习何种语言关系。
4.2 凸组合
接下来,从几何的角度理解注意力的输出。取第 1 节中未缩放分数得到的权重 $[0.1454,0.5896,0.2649]$,并设三个值向量为:
那么,第三个位置的输出为:
由于权重非负且和为 1,$o$ 是各个值向量的凸组合 (convex combination),因此它一定落在这些值向量所围成的凸包之内(在本例中是一个三角形)。由此可以得到两个推论:第一,单头注意力的输出不会超出值向量的范围,它只进行“混合”,而不会“放大”或“外推”;第二,如果只把 $v_j$ 移动 $\Delta v_j$,那么输出恰好移动 $\alpha_j\Delta v_j$。
在下图中,Q、K 与权重均保持固定,只允许移动值向量,“向量累加”显示了三个加权向量首尾相接的结果。需要说明的是,凸包性质只适用于没有注意力 dropout 的 $AV$,而不适用于其后的输出投影和残差相加。
可视化需要 JavaScript。
作为对比,如果对同一组原始点积使用 $d_k=2$ 的标准缩放,那么完整的计算过程变为:
缩放之后的权重分布更加平缓,输出也随之发生了变化。
4.3 注意力权重可以说明什么
由于注意力权重图非常直观,它常常被用来“解释”模型的行为。但需要注意的是,权重只是当前层、当前头的混合系数,而最终的输出还取决于值向量本身、输出投影、残差路径以及后续的各层。例如,一个权重很大的位置,如果其值向量很小,或者在后续计算中被抵消,那么它对预测的实际贡献可能非常有限。对此,Jain 与 Wallace(2019)等工作专门进行了讨论。因此,注意力权重可以作为分析的线索,但不宜直接等同于特征的重要性。
下面用一组示意数值说明这一点:
5. 掩码:限定可访问范围
5.1 加性掩码
在默认情况下,注意力允许每个查询访问全部的键。然而,在实际任务中,有两类位置需要排除:一是为了对齐批次长度而补入的填充位置,二是自回归解码中尚未生成的未来位置。为此,掩码 (mask) 会在 softmax 之前修改分数:
由于 $e^{-\infty}=0$,被屏蔽位置的权重为零,而剩余的权重会自动在允许的位置之间重新归一化。相反,如果在 softmax 之后才把部分权重置零,那么剩余权重之和就不再为 1。具体而言,常用的掩码有以下两类:
- Padding mask:屏蔽填充位置,使其不能作为键被读取。
- Causal mask:在解码器的 self-attention 中,规定位置 $i$ 只能访问 $j\le i$ 的位置。例如,当长度为 3 时:
在实际的批量计算中,两种掩码往往需要同时使用。下图展示了它们的组合方式,以及加入掩码之后的归一化结果:
5.2 全部位置被屏蔽与填充查询
使用掩码后,仍需保证权重归一化有定义,并区分 Key 与 Query 上的填充位置。首先,每个有效的查询至少要有一个允许访问的键。如果某一行全部为 $-\infty$,普通的 softmax 就会得到 $0/0$,从而产生 NaN;而如果改用一个有限的极小值(如 $-10^9$),该行又会变成均匀分布,从而悄悄地读取了本应被屏蔽的位置。因此,在实现时应当明确地检测并处理这类行。其次,屏蔽填充位置作为键被读取,并不会让填充位置作为查询时的输出变为零,因此后续的池化和损失计算仍然需要按掩码排除它们(第 03 章)。
下图对比了这两种错误的处理方式所产生的结果:
5.3 带掩码的注意力函数
把掩码加入分数矩阵,就得到下面的注意力函数。在保留批量维度的情况下,三步运算的形状变化如下:
该函数将已经投影的 Q、K、V 映射为单头输出与权重。参数 allowed=True 表示允许访问;注意力 dropout 与输出投影属于这一核心聚合运算之外的子层步骤。
1 | import math |
运行结果:
1 | tensor([0.1916, 0.5156, 0.2928]) |
第三行的结果与第 4 节的手算结果一致。此外,两次调用使用的是相同的 Q、K、V,只是改变了访问范围。需要注意的是,解码器的训练还必须配合目标右移(第 05 章):如果当前位置的输入本身就是答案,那么下三角掩码并不能阻止它读取这一信息。
另外,源序列的 padding mask(填充掩码) 可以写成 source_ids.ne(pad_id)[:, None, :],其形状为 [B,1,L_k],并会被广播到所有查询上;causal mask(因果掩码) 与 padding mask 则可以通过逻辑与运算组合在一起。值得注意的是,本函数的布尔约定与 PyTorch 模块并不相同:nn.MultiheadAttention 的布尔掩码中,True 表示禁止访问;而 F.scaled_dot_product_attention 的 attn_mask=True 则表示允许访问。因此,在调用具体接口之前,应当先查阅其约定。
6. self-attention 与 cross-attention
在点积注意力中,Q 与 K 的特征维度必须相同,K 与 V 的位置数量也必须相同,但三者可以来自不同的序列。根据来源的不同,注意力可以分为以下两种。
self-attention中的三组向量都来自同一层的输入 $X$。在这种情况下,序列中的每个位置既会发出一个查询,也会提供一个键和一个值,因此输出的位置数与输入相同。由于它让每个位置都可以直接读取序列中的任意其他位置,任意两个位置之间的信息传递只需要一步,这正是它在处理长距离依赖时优于 RNN 的原因。
与之不同,cross-attention(交叉注意力)的查询来自一个序列,而键和值来自另一个序列。在翻译模型中,设编码器的输出为 $H$,解码器当前子层的输入为 $Z$,则有:
如果源序列长度为 $S$、目标序列长度为 $T$,那么权重矩阵的形状为 $T\times S$,输出有 $T$ 行,即每个目标位置都会汇聚一次源端的信息。在这里,$T$ 与 $S$ 可以不同,也不要求逐词配对。这正是第 06 章中 Bahdanau 注意力的缩放点积版本。
下图对比了两种注意力的数据流:
在原始 Transformer 中,编码器使用 self-attention;而解码器则先使用带 causal mask 的 self-attention 处理目标前缀,再使用 cross-attention 读取编码器的输出。由于完整的源句是已知条件,cross-attention 只需要屏蔽源端的填充位置即可。
7. 计算复杂度
最后,简要分析注意力的计算复杂度。对于长度为 $L$ 的序列,单头 self-attention 需要计算 $L\times L$ 个分数。因此,显式存储权重矩阵需要 $O(L^2)$ 的空间,而点积与加权求和的计算量为 $O(L^2d_k+L^2d_v)$;此外,Q/K/V 投影还需要 $O(Ld_{\mathrm{model}}d_k)$ 量级的计算。当序列较短时,投影和前馈网络在计算中占主导地位;而当序列很长时,二次项则会占据主导。
以 $d_{\mathrm{model}}=512$ 为例,下图对比了投影与注意力两部分的计算量随序列长度的变化:
序列增长时,这种二次复杂度会显著增加长文本与高分辨率图像的计算和存储需求。后续改进包括,稀疏注意力、线性注意力,以及保留稠密注意力数学运算、优化显存访问的 FlashAttention(第 11 章)。
需要区分的是,这里存在两个不同层次的并行性。一方面,在同一个注意力头内,所有查询位置都可以通过矩阵乘法同时计算,causal mask 只是限制了信息的访问,并不要求逐个位置执行;另一方面,autoregressive generation 必须等待前一个 token 被选定之后,才能确定下一步的输入。换言之,算子层面的并行性与生成步骤之间的顺序依赖,是两件不同的事情。
参考资料
[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. Advances in Neural Information Processing Systems 30, 2017.
[2] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. International Conference on Learning Representations, 2015.
[3] Sarthak Jain and Byron C. Wallace. Attention is not Explanation. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.
[4] Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola. Dive into Deep Learning. Cambridge University Press, 2023. Online chapters: Attention Pooling, Attention Scoring Functions.
[5] PyTorch Contributors. Softmax. PyTorch documentation.
[6] PyTorch Contributors. MultiheadAttention. PyTorch documentation.
[7] PyTorch Contributors. scaled_dot_product_attention. PyTorch documentation.
- Code and experiment data: 07-examples.py.





