大模型 · 共 13 个专题

Transformer 架构全景

从整体结构、归一化位置到 FFN 变体的高频问法。

4 道题 约 7 分钟 大模型 · 基础原理

先建立一张图

面试里被问架构,最稳的答法是「一条残差主干 + 两类子层」:

Transformer 架构示意:输入经位置编码后进入 N 层残差主干,每层包含 Attention 子层与 FFN 子层,末尾接 LayerNorm 与 LM Head
一条残差主干 + 两类子层,堆 N 层后接 LM Head(点击图片可放大)
Q1

Transformer 相比 RNN 解决了什么问题?为什么能成为主流?

高频

一句话回答: 它把序列建模从「按时间步串行」改成「全序列一次性做注意力」,换来训练并行度,同时把任意两个位置之间的路径长度从 O(n) 降到 O(1)。

展开:

  • 并行:RNN 第 t 步依赖第 t-1 步,训练无法并行;Self-Attention 一次矩阵乘法看到全序列,GPU 利用率高。
  • 长依赖:RNN 的信息要沿时间步传递,梯度路径长、易衰减;注意力里任意两位置直接相连,路径长度恒为 1。
  • 可扩展:结构规整(同构层堆叠),天然适合张量并行、流水并行,这是能堆到千亿参数的前提。
  • 代价:复杂度从 O(n·d²) 变成 O(n²·d),长上下文时反而更贵——这就是后来 FlashAttention、线性注意力、稀疏注意力的动机。
#架构#并行
Q2

Transformer 一层里每个模块分别起什么作用?

基础

一句话回答: Attention 负责「位置之间交换信息」,FFN 负责「每个位置独立做非线性变换」,残差保证梯度回流,Norm 稳定数值分布。

展开:

  • Multi-Head Attention:多个子空间并行做注意力,捕捉不同类型的依赖(句法、指代、共现)。
  • FFN:两层线性 + 激活,参数约占全模型 2/3,被认为是「知识存储」的主要位置(key-value memory 视角)。
  • 残差连接:让深层网络至少不劣于浅层,梯度可以直通底层。
  • LayerNorm/RMSNorm:把每层输入拉回稳定分布,避免深层数值爆炸。
#架构
Q3

Pre-Norm 和 Post-Norm 有什么区别?为什么现在的 LLM 都用 Pre-Norm?

进阶

一句话回答: Post-Norm 把 Norm 放在残差相加之后(原始论文),Pre-Norm 放在子层之前、残差直通。Pre-Norm 的残差路径上没有 Norm,梯度更干净,深层模型不需要小心翼翼 warmup 也能训起来。

展开:

  • Post-Norm:Norm(x + Sublayer(x))。表达力略强,但层数一深就难训,要靠 learning rate warmup 和小初始化,BERT 时代常用。
  • Post-Norm 的问题:残差主干的方差随层数累积,深层梯度尺度失衡。
  • Pre-Norm:x + Sublayer(Norm(x))。主干是恒等映射的累加,梯度可以无损回传,所以 GPT/LLaMA 系列都用它。
  • 代价:Pre-Norm 的表达力稍弱,且最终输出前要再补一个 Norm(final norm)。
  • 折中方案:DeepNorm 用放大残差的缩放因子,兼顾两者。
#归一化#训练稳定性
Q4

FFN 为什么先升维再降维?SwiGLU 改进了什么?

进阶

一句话回答: 升维到 4 倍(或 8/3 倍)提供足够宽的中间表示做非线性组合,降维再投影回残差维度。SwiGLU 用门控代替单一激活,同等参数量下效果更好。

展开:

  • 结构:FFN(x) = W2 · act(W1 · x),中间维度 d_ff 通常是 4d。
  • 为什么宽:中间层相当于给每个 token 一个高维「工作区」,用来做特征组合;太窄会限制表达力。
  • SwiGLU:(Swish(xW1) ⊙ xW3) W2,多一个门控分支。为了保持总参数量不变,d_ff 取 8/3·d 而不是 4d。
  • 实测:同等算力下 SwiGLU 的 loss 更低,是 LLaMA、PaLM 的默认选择。
#FFN#SwiGLU