Transformer 架构全景
从整体结构、归一化位置到 FFN 变体的高频问法。
先建立一张图
面试里被问架构,最稳的答法是「一条残差主干 + 两类子层」:
Transformer 相比 RNN 解决了什么问题?为什么能成为主流?
高频一句话回答: 它把序列建模从「按时间步串行」改成「全序列一次性做注意力」,换来训练并行度,同时把任意两个位置之间的路径长度从 O(n) 降到 O(1)。
展开:
- 并行:RNN 第 t 步依赖第 t-1 步,训练无法并行;Self-Attention 一次矩阵乘法看到全序列,GPU 利用率高。
- 长依赖:RNN 的信息要沿时间步传递,梯度路径长、易衰减;注意力里任意两位置直接相连,路径长度恒为 1。
- 可扩展:结构规整(同构层堆叠),天然适合张量并行、流水并行,这是能堆到千亿参数的前提。
- 代价:复杂度从 O(n·d²) 变成 O(n²·d),长上下文时反而更贵——这就是后来 FlashAttention、线性注意力、稀疏注意力的动机。
Transformer 一层里每个模块分别起什么作用?
基础一句话回答: Attention 负责「位置之间交换信息」,FFN 负责「每个位置独立做非线性变换」,残差保证梯度回流,Norm 稳定数值分布。
展开:
- Multi-Head Attention:多个子空间并行做注意力,捕捉不同类型的依赖(句法、指代、共现)。
- FFN:两层线性 + 激活,参数约占全模型 2/3,被认为是「知识存储」的主要位置(key-value memory 视角)。
- 残差连接:让深层网络至少不劣于浅层,梯度可以直通底层。
- LayerNorm/RMSNorm:把每层输入拉回稳定分布,避免深层数值爆炸。
Pre-Norm 和 Post-Norm 有什么区别?为什么现在的 LLM 都用 Pre-Norm?
进阶一句话回答: Post-Norm 把 Norm 放在残差相加之后(原始论文),Pre-Norm 放在子层之前、残差直通。Pre-Norm 的残差路径上没有 Norm,梯度更干净,深层模型不需要小心翼翼 warmup 也能训起来。
展开:
- Post-Norm:
Norm(x + Sublayer(x))。表达力略强,但层数一深就难训,要靠 learning rate warmup 和小初始化,BERT 时代常用。 - Post-Norm 的问题:残差主干的方差随层数累积,深层梯度尺度失衡。
- Pre-Norm:
x + Sublayer(Norm(x))。主干是恒等映射的累加,梯度可以无损回传,所以 GPT/LLaMA 系列都用它。 - 代价:Pre-Norm 的表达力稍弱,且最终输出前要再补一个 Norm(final norm)。
- 折中方案:DeepNorm 用放大残差的缩放因子,兼顾两者。
FFN 为什么先升维再降维?SwiGLU 改进了什么?
进阶一句话回答: 升维到 4 倍(或 8/3 倍)提供足够宽的中间表示做非线性组合,降维再投影回残差维度。SwiGLU 用门控代替单一激活,同等参数量下效果更好。
展开:
- 结构:
FFN(x) = W2 · act(W1 · x),中间维度 d_ff 通常是 4d。 - 为什么宽:中间层相当于给每个 token 一个高维「工作区」,用来做特征组合;太窄会限制表达力。
- SwiGLU:
(Swish(xW1) ⊙ xW3) W2,多一个门控分支。为了保持总参数量不变,d_ff 取 8/3·d 而不是 4d。 - 实测:同等算力下 SwiGLU 的 loss 更低,是 LLaMA、PaLM 的默认选择。