大模型 · 共 13 个专题

Self-Attention 细节

缩放因子、复杂度、多头变体与位置编码。

4 道题 约 7 分钟 大模型 · 基础原理

核心公式

Attention(Q, K, V) = softmax(QKᵀ / √d_k) · V
Q1

为什么 Attention 里要除以 √d_k?

高频

一句话回答: 防止点积结果随维度变大而方差膨胀,把 softmax 推入饱和区导致梯度消失。

展开:

  • 假设 q、k 各分量独立、均值 0 方差 1,则点积 q·k 的方差是 d_k,标准差是 √d_k。
  • d_k = 128 时点积量级能到 ±10 以上,softmax 输出接近 one-hot,梯度几乎为 0。
  • 除以 √d_k 把方差归一化回 1,softmax 分布保持「有区分度但不过度尖锐」。
  • 注意分母用的是 d_k(key 的维度),不是 d_model,也不是 head 数。

追问: 如果换成 1/√d_model 会怎样?—— 会影响温度尺度,注意力分布整体过平或过尖,训练不稳定。

#Attention#数值稳定性
Q2

Self-Attention 的计算复杂度是多少?为什么长上下文这么贵?

高频

一句话回答: 计算 O(n²·d)、显存 O(n²)(注意力矩阵),n 是序列长度。上下文翻倍,注意力部分的计算和显存翻四倍。

展开:

  • 矩阵乘 QKᵀ 是 n×d 乘 d×n,得 n×n,计算量 2n²d;再乘 V 又是 2n²d。
  • 标准实现要把 n×n 的分数矩阵写回显存,显存 O(n²),这是长上下文的主要瓶颈。
  • FlashAttention 用分块(tiling)+ 在线 softmax,把中间结果留在 SRAM,不落显存,显存降到 O(n),速度提升 2–4 倍,但计算量仍是 O(n²)。
  • 真正想线性,需要稀疏注意力、滑动窗口、线性注意力或状态空间模型(Mamba)。
  • 工程上还有一个隐藏成本:KV Cache 随 n 线性增长,见 KV Cache 与显存。
#复杂度#长上下文
Q3

MHA、MQA、GQA、MLA 的区别是什么?

专家

一句话回答: 区别在于「多少个 Query 头共享一组 K/V」。MHA 每个头一套 K/V;MQA 所有头共享一套;GQA 分组共享;MLA 把 K/V 压成一个低秩潜向量。

展开:

变体K/V 组数KV Cache 相对 MHA质量代表
MHAh(每头独立)1×最好GPT-3
MQA11/h略降PaLM、Falcon
GQAg(分组)g/h接近 MHALlama-2-70B、Llama-3
MLA低秩压缩约 1/10不低于 MHADeepSeek-V2/V3
  • GQA 是目前的性价比默认项:Llama-3-8B 是 32 个 Q 头、8 组 K/V,KV Cache 直接降到 1/4。
  • MLA 缓存的是一个 d_c≈512 的潜向量,推理时再上投影还原 K/V,把 KV Cache 压到极致,代价是额外的投影计算和实现复杂度。
#Attention变体#KV Cache
Q4

为什么需要位置编码?RoPE 为什么比绝对位置编码更适合长上下文?

进阶

一句话回答: 注意力本身是置换不变的,不加位置信息句子顺序就丢了。RoPE 把位置写成旋转角度作用在 q/k 上,使注意力分数只依赖相对距离,天然具备外推基础。

展开:

  • 绝对位置编码(正弦或可学习):把位置向量加到 embedding 上。可学习版本超出训练长度就没有对应参数,外推能力差。
  • RoPE:对 q、k 的第 2i、2i+1 维按角度 θ_i = pos/10000^(2i/d) 做旋转。两个 token 的内积只与 (pos_q − pos_k) 有关,即相对位置不变性。
  • 外推技巧:位置插值(PI,把长位置压缩回训练范围)、NTK-aware 缩放(改 base,低频维不变、高频维拉伸)、YaRN(分段缩放 + 温度修正)。
  • ALiBi 是另一条路线:不加位置向量,直接给注意力分数一个与距离成正比的负偏置,实现简单、外推好,但表达力略弱。
#位置编码#RoPE