上一章介绍的单头注意力存在两个局限。第一,一个 head 为每个 Query 只产生一组权重,所有 Value 特征都按这组权重聚合。若不同特征需要读取不同位置,单一加权分布就需要在这些关系之间折中。例如,一个动词的表示可能需要同时整合主语、宾语和时间状语。第二,注意力的计算只依赖于向量的内容,而与位置无关;在不包含位置信息和顺序掩码时,重排输入只会同样重排输出,不能为相同内容赋予不同的顺序语义(第 3 节)。

针对这两个问题,Transformer 分别引入了 multi-head attention(多头注意力) 与 positional encoding(位置编码)。其中,multi-head attention 的思路与卷积网络相通:卷积层使用多个卷积核,并行地提取边缘、纹理等不同特征,再在通道维度上合并;类似地,multi-head attention 使用多组投影,并行地计算不同的注意力分布,再在特征维度上合并。而 positional encoding 则是把位置信息显式地注入输入或注意力分数之中。

1. multi-head attention

1.1 投影、分头与拼接

首先介绍 multi-head attention 的计算过程。设输入为 $X\in\mathbb R^{n\times d}$,第 $h$ 个头使用它自己的三组投影:

每个投影矩阵都作用于输入的全部 $d$ 个分量。因此,split heads(分头)发生在投影之后,不是把输入的不同列预先分配给不同的头。下图区分这两种数据流;投影完成后,每个头独立计算自己的分数和权重。

正确做法先用完整的投影矩阵得到Q再按列分给各头,错误理解是把输入的列预先分给各头
图1. 分头发生在投影之后。色块表示矩阵的元素,颜色区分不同头所使用的部分。

当共有 $H$ 个头时,先沿特征维度拼接各个头的输出,再进行一次输出投影:

其中,$W^O$ 对所有头的输出进行可学习的线性组合,并把维度映射回 $d$,从而使输出能够与输入进行残差相加(第 09 章)。

每个头独立投影查询、键和值并计算注意力,各头输出拼接后经全连接层映射
图2. 多个头的输入相同,投影参数不同;输出投影把拼接结果送回模型维度。

1.2 参数量与高效实现

在原始的基础模型中,$d=512$、$H=8$、$d_k=d_v=d/H=64$,因此拼接之后恰好是 512 维。如果忽略偏置,Q/K/V 投影与输出投影一共有 $4d^2$ 个参数,这一数量与头数无关:当总宽度固定时,头数越多,每个头就越窄。因此,multi-head attention 的参数量和计算量与相同宽度的单头注意力大致相当。

在工程实现中,通常会把所有头的投影合并为一个 $d\times d$ 的矩阵,先通过一次矩阵乘法得到 [B,L,d],再将其重排为 [B,H,L,d/H],这相当于先将最后一个特征轴拆为 [H,d/H],再交换 head 与位置轴,使每个 head 的 $L\times L$ 权重独立归一化。各头计算完成后,逆变换把 [B,H,L,d/H] 还原为 [B,L,d],再执行输出投影。这种重排与逐头投影在数学上等价,也不会使各头共用注意力权重。

具体而言,这一实现的张量形状变化如下图所示:

多头注意力中张量从B L d经view和transpose变为B H L dh,计算后再变回B L d
图3. 多头注意力的张量变形。上一行为投影与分头,下一行为按头计算之后的合并与输出投影。

1.3 为什么多个头不能合并

那么,多个头之间能否合并为一个头呢?多头结构的作用正在于每个头都拥有独立的注意力分布。不妨假设两个头共用同一个 $A$:

此时,值投影与输出投影就可以合并为一个矩阵,multi-head attention 也就退化为了单头注意力。只有当各个头产生不同的 $A_1,A_2$ 时,才无法从中提取出公共的 $A$,不同的关注方式也才能共同作用于输出。

下图对比了这两种情况:

两个头共用注意力矩阵时可合并为单头,各有独立注意力矩阵时无法合并
图4. 共享注意力分布与多头。左侧可以化简为单头注意力,右侧不能。

需要说明的是,头的编号仅用于区分参数组,并没有预设的分工。对训练后模型的分析发现,一些头会呈现出可以辨认的模式,例如关注前一个位置,或者关注句法上的依存词;但也有研究(Michel 等,2019)发现,许多头在推理时可以被剪除,而几乎不影响模型效果,这说明头与头之间存在相当程度的冗余。

此外,多头结构同样适用于 cross-attention(交叉注意力):此时,Q 来自查询序列,K/V 来自被查询的序列,每个头的权重形状为 $n_q\times n_k$,而输出保留 $n_q$ 行。

2. 双头注意力的数值计算

2.1 设置

为了具体地说明上述计算过程,下面给出一个双头注意力的数值算例。取 $d=4$、$H=2$、$d_k=d_v=2$,三个位置的输入为前三个标准基向量:

标准基输入的投影结果等于参数矩阵的前三行。每个 $4\times2$ 投影矩阵的第四行均为 $[0,0]$。另外,本例不使用 positional encoding、掩码与 dropout。

2.2 第一个头

第一个头的投影结果为:

这正是第 07 章中使用的例子。第三个位置的查询 $[1,0]$ 与三个键的点积为 $[1.2,2.6,1.8]$,除以 $\sqrt2$ 之后得到:

2.3 第二个头

第二个头使用另一组投影参数:

此时,第三个位置的查询变为 $[-0.4,0.7]$,对应的点积为 $[-0.46,0.80,-0.08]$,于是有:

同一个位置在两个头中得到了不同的权重分布和不同的输出。

如果把三个查询位置的权重都计算出来,就能完整地对比两个头的注意力分布:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import math
import torch
import matplotlib.pyplot as plt

Q = torch.tensor([[[.6, .8], [.2, 1.3], [1., 0.]],
[[.2, .9], [1.1, -.2], [-.4, .7]]], dtype=torch.float64)
K = torch.tensor([[[1.2, .4], [2.6, -.5], [1.8, 1.2]],
[[.8, -.2], [.1, 1.2], [.9, .4]]], dtype=torch.float64)
V = torch.tensor([[[1., 0.], [0., 2.], [-1., 1.]],
[[.2, 1.], [1., -.4], [-.6, .5]]], dtype=torch.float64)
A = (Q @ K.transpose(-2, -1) / math.sqrt(2)).softmax(-1)
O = A @ V # [头, 位置, 特征]
print("third query weights:", A[:, 2])
print("third query outputs:", O[:, 2])
fig, axes = plt.subplots(1, 2, figsize=(7, 3.1))
for head, ax in enumerate(axes):
ax.imshow(A[head], vmin=0, vmax=1, cmap="Blues")
for i in range(3):
for j in range(3):
ax.text(j, i, f"{A[head, i, j]:.3f}", ha="center", va="center")
ax.set(title=f"Head {head + 1}", xlabel="Key position", ylabel="Query position",
xticks=range(3), yticks=range(3))
fig.tight_layout()
plt.show()

运行结果:

1
2
3
4
third query weights: tensor([[0.1916, 0.5156, 0.2928],
[0.2107, 0.5136, 0.2757]], dtype=torch.float64)
third query outputs: tensor([[-0.1012, 1.3240],
[ 0.3904, 0.1431]], dtype=torch.float64)
两个头的实际注意力权重。使用同一色标,行对应查询位置,列对应键位置。
图5. 两个头的实际注意力权重。使用同一色标,行对应查询位置,列对应键位置。

2.4 拼接与输出投影

最后,将两个头的输出拼接起来,并进行输出投影:

继续使用上面算出的 O,沿特征轴拼接两个头,再做输出投影:

1
2
3
4
5
6
WO = torch.tensor([[.7, -.2, .3, .1], [.2, .8, -.1, .3],
[-.3, .1, .7, .2], [.1, .4, -.2, .8]], dtype=torch.float64)
C = O.transpose(0, 1).reshape(3, 4)
M = C @ WO
print(C[2])
print(M[2])

运行结果:

1
2
tensor([-0.1012,  1.3240,  0.3904,  0.1431], dtype=torch.float64)
tensor([0.0911, 1.1757, 0.0819, 0.5796], dtype=torch.float64)

例如,$m$ 的第一个分量为 $0.7c_1+0.2c_2-0.3c_3+0.1c_4$,它同时混合了两个头的信息。需要注意的是,各个头内部的 $o_h$ 是值向量的凸组合,但 $W^O$ 的系数可正可负,并且不受归一化的约束,因此 $m$ 不再具有凸组合的性质。

在下面的交互图中,默认显示的是第三个位置的结果。左右两个平面采用相同的尺度,分别表示两个头的值输出空间;切换 Query 之后,拼接与投影的数值也会随之更新。

可视化需要 JavaScript。

图6. 我喜欢你双头注意力的输出拼接与映射

3. self-attention 的置换等变性

3.1 证明

对于上述不含位置信息的注意力,设 $P$ 为一个置换矩阵,它会重新排列输入的行,即 $X'=PX$。那么,$Q'=PQ$、$K'=PK$、$V'=PV$,对应的分数矩阵为:

由于逐行 softmax 与同步的行列重排是可交换的,因此有:

其中,最后一步用到了 $P^\top P=I$。这一结果表明:如果输入按照某种方式重新排列,那么输出也会按照同样的方式重新排列,这一性质被称为置换等变性 (permutation equivariance)。换言之,每个输出向量本身与原来完全相同,只是换了一个位置。

以三位置序列为例,交换第一个和第三个位置之后,中间位置的输出保持不变,而另外两个位置的输出则相互交换。也就是说,模型所看到的只是“同样的几个向量换了位置”,而无法得知“谁在前、谁在后”。因此,仅靠这种运算无法建立 token 的先后关系。例如,若对输出进一步使用不依赖顺序的 pooling,“狗咬人”与“人咬狗”会产生相同的聚合结果。逐位置输出仍会随各 token 移动,不能将 permutation equivariance 与输出矩阵完全不变混为一谈。

下面用头 1 的参数实际计算一次,以验证这一结论:

我喜欢你与你喜欢我的注意力输出,交换位置后同一个词得到相同的输出向量
图7. 置换等变性的数值验证。棕色箭头连接的两行向量逐元素相等。

3.2 适用范围

此外,逐位置的 FFN(逐位置前馈网络)、LayerNorm(逐位置的特征归一化) 以及对应位置的残差相加,同样保持这一性质。因此,仅仅依靠堆叠这些组件,整个编码器仍然对顺序不敏感。需要说明的是,上述等式以关闭 dropout 为前提;并且,如果使用了掩码,那么掩码也必须随输入同步重排。而固定的下三角 causal mask(因果掩码) 本身就已经引入了先后顺序,因此并不满足置换条件。正因如此,纯解码器模型即使不加 positional encoding,也能从因果结构中获得一定的位置信息。

对于图像而言,情况也是如此。视觉 Transformer 会把图像切分为 patch 序列,在不包含位置线索或空间掩码时,打乱 patch 的顺序只会相应重排输出表示,而对这些表示做不依赖顺序的分类汇聚无法恢复原有的空间布局。

4. 正余弦 positional encoding

4.1 定义

为了打破置换等变性,原始 Transformer 为每个位置 $p$(从 0 开始计数)构造了一个与 token Embedding(将 token 编号映射为可学习向量的表示) 同维的确定性向量,并将其与 token Embedding 相加之后送入网络。对于偶数维度 $d$,第 $r$ 对坐标使用的频率为 $\omega_r=10000^{-2r/d}$:

其中,相邻的两个坐标共用同一个频率。随着维度的增加,频率从 1 按几何级数递减到约 $1/10000$:低维坐标随位置快速振荡,而高维坐标则变化缓慢。这一规律与二进制计数中“低位变化快、高位变化慢”的特点十分相似。此外,原模型会先把 token Embedding 乘以 $\sqrt d$,再与 positional encoding 相加,最后进行 dropout。

下图画出了 $d=64$ 时几对坐标的正弦分量随位置的变化,可以直观地看到频率的差异:

d为64时第0、4、10、20对坐标的正弦分量随位置变化的波形,频率依次降低
图8. 正余弦位置编码的频率。每条曲线已按行错开,右侧标出了对应的周期。

例如,当 $d=4$ 时,两个频率分别为 1 和 0.01,对应的 positional encoding 为:

这样一来,同一个 token 位于不同位置时,就会加上不同的位置向量,因此进入网络的表示也会不同,置换等变性由此被打破。对应的代码实现如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import math
import torch

def sinusoidal_positions(length, dim):
assert dim % 2 == 0
p = torch.arange(length, dtype=torch.float64)[:, None]
omega = torch.exp(
torch.arange(0, dim, 2, dtype=torch.float64)
* (-math.log(10000.0) / dim)
)
pe = torch.zeros(length, dim, dtype=torch.float64)
pe[:, 0::2] = torch.sin(p * omega)
pe[:, 1::2] = torch.cos(p * omega)
return pe

print(sinusoidal_positions(3, 4))

运行结果:

1
2
3
tensor([[ 0.0000,  1.0000,  0.0000,  1.0000],
[ 0.8415, 0.5403, 0.0100, 1.0000],
[ 0.9093, -0.4161, 0.0200, 0.9998]], dtype=torch.float64)

把这个函数应用于 64 个位置、32 个特征,可以直接观察整张编码表:

1
2
3
4
5
6
7
pe = sinusoidal_positions(64, 32)
fig, ax = plt.subplots(figsize=(7, 3.2))
image = ax.imshow(pe.T, aspect="auto", cmap="RdBu_r", vmin=-1, vmax=1)
ax.set(xlabel="Position", ylabel="Feature dimension")
fig.colorbar(image, ax=ax, label="Encoding value")
fig.tight_layout()
plt.show()
正余弦位置编码的计算结果。横轴为位置,纵轴为特征维度;相邻维度分别为同频率的正弦与余弦。
图9. 正余弦位置编码的计算结果。横轴为位置,纵轴为特征维度;相邻维度分别为同频率的正弦与余弦。

4.2 相对位移的线性表示

除了区分绝对位置,正余弦 positional encoding 还可以通过一个线性变换表达固定的相对位移。令行向量 $u_r(p)=[\sin(p\omega_r),\cos(p\omega_r)]$,由三角函数的和角公式可得:

右侧的矩阵只依赖于位移 $\Delta$,而与起点 $p$ 无关。也就是说,任何位置向后移动 $\Delta$,都对应于同一个线性变换。进一步地,位置向量之间的点积也只取决于相对距离。

从几何上看,每对坐标都落在单位圆上,而位置每增加 1,点就沿圆周转过一个固定的角度:

位置0到6的编码在单位圆上等角度排列,从1到3和从3到5转过相同的角度
图10. 位置位移与旋转。绿色与棕色弧线表示两段起点不同、位移相同的移动。

但需要注意的是,这一性质只作用于位置向量本身。在实际的注意力计算中,使用的是 $(E+PE)W^Q$ 与 $(E+PE)W^K$,将其展开之后会包含“内容—内容”“内容—位置”“位置—内容”“位置—位置”四类交叉项,因此完整的分数一般同时依赖于内容和绝对位置。这也正是后来的相对位置方法试图改进的地方。

下图左侧画出了位置向量之间的点积随距离的变化,右侧则列出了加入内容之后注意力分数的四类交叉项:

左侧为位置向量点积随距离的变化曲线,右侧为注意力分数展开后的四类交叉项
图11. 位置向量点积与交叉项。左图按公式直接计算,未经过投影。

5. 其他 positional encoding 方案

5.1 可学习的绝对位置

除了正余弦编码之外,研究者还提出了多种 positional encoding 方案。其中,BERT、GPT-2 与 ViT 采用的是learned positional Embedding(可学习的位置向量):为每个位置分配一个可训练的向量,其用法与 token Embedding 相同。正余弦编码可以按公式计算任意位置,但模型能否泛化到更长序列仍取决于训练与任务。可学习的位置表通常受限于预设的最大长度。

5.2 相对位置

另一类方案直接建模相对位置。例如,Shaw 等人(2018)提出把相对距离 $j-i$ 的嵌入直接加入注意力分数的计算中;T5 则为不同的相对距离区间学习一个标量偏置。在此基础上,ALiBi(Press 等,2021)更进一步,它不引入任何参数,而是直接给分数加上一个与距离成正比的负偏置,从而使远处位置的权重自然衰减。

下图把几类方案放在同一条计算流水线上,标出了它们各自注入位置信息的环节:

正余弦与可学习位置加在嵌入上,RoPE作用于Q和K,相对位置偏置加在点积分数上
图12. 位置编码方案的作用位置。方框标出每种方案修改的环节。

5.3 RoPE

在各种方案中,RoPE(Rotary Position Embedding,旋转位置编码)在 LLaMA 等语言模型中广泛使用。与前述方法不同,它并不修改输入,而是在 Q/K 投影之后,把每对坐标按照位置旋转一个角度。以二维情形为例,位置 $p$ 决定一个旋转角度。

在高维情形下,RoPE 把向量两两分组,每一组都按照各自的频率旋转。下图以 8 维向量为例:

8维查询向量的4对坐标在位置0、1、3分别以不同频率旋转
图13. RoPE 的多频率旋转。频率的设置与正余弦位置编码相同:低编号的坐标对旋转得快,高编号的旋转得慢。

将这一旋转操作记为 $\operatorname{rot}(q,p\omega)$。由于旋转保持向量的长度不变,因此满足:

由此可见,查询与键的绝对旋转量在点积中只以差值 $r-p$ 的形式出现,因此注意力分数只依赖于内容与相对位置。具体而言,在 Q/K 内容固定的情况下,把两者的位置同时平移相同的量,点积保持不变;如果可访问的位置集合也保持不变,那么整行的权重都不会改变。标准 RoPE 在 Q/K 上实施这一变换,V 保持不变。相对位移结构并不自动保证超出训练长度时仍能准确预测;新的位置范围会改变模型见到的旋转相位组合。

下面的交互图使用了三位置序列的固定投影,每个头只有一对二维旋转坐标,频率取 1,默认的 Query 为位置 2。可以观察到,增大共同的位置偏移时,Q 与 K 会以相同的角度旋转,因此二者的相对角度与点积保持不变;而 Key 选择器则用于改变参与比较的位置及其相对距离。

可视化需要 JavaScript。

图14. 我喜欢你的 RoPE 二维旋转与共同位置偏移

至此,注意力子层的计算已经完整:multi-head attention 负责位置之间的信息交互,positional encoding 提供次序信息,而输出投影则把结果映射回模型维度。下一章将讨论如何把这个子层与前馈网络组织成可以深层堆叠的结构。

参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. Advances in Neural Information Processing Systems 30, 2017.

[2] Paul Michel, Omer Levy, and Graham Neubig. Are Sixteen Heads Really Better than One?. Advances in Neural Information Processing Systems 32, 2019.

[3] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. Self-Attention with Relative Position Representations. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2018.

[4] Ofir Press, Noah A. Smith, and Mike Lewis. Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation. International Conference on Learning Representations, 2022.

[5] Jianlin Su, Murtadha Ahmed, Yu Lu, Shengfeng Pan, Wen Bo, and Yunfeng Liu. RoFormer: Enhanced Transformer with Rotary Position Embedding. Neurocomputing 568, 127063, 2024.

[6] Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola. Dive into Deep Learning. Cambridge University Press, 2023. Online chapters: Multi-Head Attention, Self-Attention and Positional Encoding.