大模型 · 共 13 个专题

RAG 全链路设计

从文档解析到生成引用的完整性设计,以及常见失效点。

3 道题 约 5 分钟 大模型 · 检索增强

全链路

离线:解析 → 切分 → 嵌入 → 建索引(向量 + 关键词 + 元数据)
在线:查询改写 → 召回 → 重排 → 上下文组装 → 生成 → 引用与校验
Q1

请完整描述一个 RAG 系统,并指出最容易被忽略的环节。

高频

一句话回答: 离线建库 + 在线检索生成两段。最容易被忽略的是文档解析和上下文组装,而它们往往决定成败。

展开:

  • 解析:PDF 表格、扫描件、页眉页脚、双栏排版,解析错了后面全错。务实做法是转成结构化 Markdown 再切。
  • 切分:见下一页,块太大稀释语义、太小丢上下文。
  • 嵌入:中文常用 bge-m3、text-embedding-3、gte 系列;注意归一化和「查询/文档」前缀不对称。
  • 索引:向量库之外,建议同时保留 BM25 倒排和元数据过滤(时间、部门、文档类型)。
  • 在线:查询改写(多轮场景做指代消解)、混合召回、重排、拼装。
  • 生成:强制引用、无依据时拒答、控制上下文条数与长度。
  • 最易忽略:权限过滤必须在召回阶段做,不能先召回再过滤,否则会把无权文档喂给模型。
#RAG#系统设计
Q2

文档切分(Chunking)有哪些策略?怎么选块大小?

进阶

一句话回答: 按结构切优于按长度切;块大小 256–512 token、10–20% 重叠是稳妥起点,再用「父子块」兼顾检索精度与上下文完整。

展开:

  • 固定窗口:按 token 数切 + overlap,简单可靠,会切断句子和表格。
  • 按结构:按标题层级、段落、列表切,保留语义边界,是默认首选。
  • 语义切分:按相邻句向量相似度变化处切,效果好但成本高。
  • 父子块(small-to-big):用小块建索引保证召回精准,命中后返回它所在的大块给模型,兼顾两头。
  • 句窗检索:索引单句,返回时带前后各 n 句。
  • 选型依据:问题粒度。问「某条款细节」用小块,问「总结这一章」用大块或直接喂整篇。

追问: overlap 越大越好吗?—— 不是。重复内容会占用上下文预算、稀释注意力,10–20% 足够。

#Chunking
Q3

RAG 上线后答非所问 / 幻觉,怎么定位和治理?

高频

一句话回答: 先分层定位:是召回没召回、召回但排序错、还是召回了模型没用。三段分别有对应的指标和修法。

展开:

现象定位方法修法
召回里根本没有正确文档人工标注 top-k 命中率改切分、加混合检索、查询改写
正确文档在但排很后算 MRR / NDCG加重排模型、调 top-k
上下文正确但答案错把上下文单独喂模型做对照改提示、强制引用、降低温度
检索为空仍强行回答看拒答率加相似度阈值和「无依据则拒答」

通用兜底:

  • 强制模型标注引用编号,答案里没有引用就视为不可信。
  • 用 LLM 做一次「答案是否被上下文支持」的校验(faithfulness 检查)。
  • 对关键业务加人工抽检和回归集。
#幻觉#排障