Self-Attention 细节
缩放因子、复杂度、多头变体与位置编码。
核心公式
Attention(Q, K, V) = softmax(QKᵀ / √d_k) · V
为什么 Attention 里要除以 √d_k?
高频一句话回答: 防止点积结果随维度变大而方差膨胀,把 softmax 推入饱和区导致梯度消失。
展开:
- 假设 q、k 各分量独立、均值 0 方差 1,则点积
q·k的方差是 d_k,标准差是 √d_k。 - d_k = 128 时点积量级能到 ±10 以上,softmax 输出接近 one-hot,梯度几乎为 0。
- 除以 √d_k 把方差归一化回 1,softmax 分布保持「有区分度但不过度尖锐」。
- 注意分母用的是 d_k(key 的维度),不是 d_model,也不是 head 数。
追问: 如果换成 1/√d_model 会怎样?—— 会影响温度尺度,注意力分布整体过平或过尖,训练不稳定。
Self-Attention 的计算复杂度是多少?为什么长上下文这么贵?
高频一句话回答: 计算 O(n²·d)、显存 O(n²)(注意力矩阵),n 是序列长度。上下文翻倍,注意力部分的计算和显存翻四倍。
展开:
- 矩阵乘
QKᵀ是 n×d 乘 d×n,得 n×n,计算量 2n²d;再乘 V 又是 2n²d。 - 标准实现要把 n×n 的分数矩阵写回显存,显存 O(n²),这是长上下文的主要瓶颈。
- FlashAttention 用分块(tiling)+ 在线 softmax,把中间结果留在 SRAM,不落显存,显存降到 O(n),速度提升 2–4 倍,但计算量仍是 O(n²)。
- 真正想线性,需要稀疏注意力、滑动窗口、线性注意力或状态空间模型(Mamba)。
- 工程上还有一个隐藏成本:KV Cache 随 n 线性增长,见 KV Cache 与显存。
MHA、MQA、GQA、MLA 的区别是什么?
专家一句话回答: 区别在于「多少个 Query 头共享一组 K/V」。MHA 每个头一套 K/V;MQA 所有头共享一套;GQA 分组共享;MLA 把 K/V 压成一个低秩潜向量。
展开:
| 变体 | K/V 组数 | KV Cache 相对 MHA | 质量 | 代表 |
|---|---|---|---|---|
| MHA | h(每头独立) | 1× | 最好 | GPT-3 |
| MQA | 1 | 1/h | 略降 | PaLM、Falcon |
| GQA | g(分组) | g/h | 接近 MHA | Llama-2-70B、Llama-3 |
| MLA | 低秩压缩 | 约 1/10 | 不低于 MHA | DeepSeek-V2/V3 |
- GQA 是目前的性价比默认项:Llama-3-8B 是 32 个 Q 头、8 组 K/V,KV Cache 直接降到 1/4。
- MLA 缓存的是一个 d_c≈512 的潜向量,推理时再上投影还原 K/V,把 KV Cache 压到极致,代价是额外的投影计算和实现复杂度。
为什么需要位置编码?RoPE 为什么比绝对位置编码更适合长上下文?
进阶一句话回答: 注意力本身是置换不变的,不加位置信息句子顺序就丢了。RoPE 把位置写成旋转角度作用在 q/k 上,使注意力分数只依赖相对距离,天然具备外推基础。
展开:
- 绝对位置编码(正弦或可学习):把位置向量加到 embedding 上。可学习版本超出训练长度就没有对应参数,外推能力差。
- RoPE:对 q、k 的第 2i、2i+1 维按角度 θ_i = pos/10000^(2i/d) 做旋转。两个 token 的内积只与 (pos_q − pos_k) 有关,即相对位置不变性。
- 外推技巧:位置插值(PI,把长位置压缩回训练范围)、NTK-aware 缩放(改 base,低频维不变、高频维拉伸)、YaRN(分段缩放 + 温度修正)。
- ALiBi 是另一条路线:不加位置向量,直接给注意力分数一个与距离成正比的负偏置,实现简单、外推好,但表达力略弱。