RAG 全链路设计
从文档解析到生成引用的完整性设计,以及常见失效点。
全链路
离线:解析 → 切分 → 嵌入 → 建索引(向量 + 关键词 + 元数据)
在线:查询改写 → 召回 → 重排 → 上下文组装 → 生成 → 引用与校验
请完整描述一个 RAG 系统,并指出最容易被忽略的环节。
高频一句话回答: 离线建库 + 在线检索生成两段。最容易被忽略的是文档解析和上下文组装,而它们往往决定成败。
展开:
- 解析:PDF 表格、扫描件、页眉页脚、双栏排版,解析错了后面全错。务实做法是转成结构化 Markdown 再切。
- 切分:见下一页,块太大稀释语义、太小丢上下文。
- 嵌入:中文常用 bge-m3、text-embedding-3、gte 系列;注意归一化和「查询/文档」前缀不对称。
- 索引:向量库之外,建议同时保留 BM25 倒排和元数据过滤(时间、部门、文档类型)。
- 在线:查询改写(多轮场景做指代消解)、混合召回、重排、拼装。
- 生成:强制引用、无依据时拒答、控制上下文条数与长度。
- 最易忽略:权限过滤必须在召回阶段做,不能先召回再过滤,否则会把无权文档喂给模型。
文档切分(Chunking)有哪些策略?怎么选块大小?
进阶一句话回答: 按结构切优于按长度切;块大小 256–512 token、10–20% 重叠是稳妥起点,再用「父子块」兼顾检索精度与上下文完整。
展开:
- 固定窗口:按 token 数切 + overlap,简单可靠,会切断句子和表格。
- 按结构:按标题层级、段落、列表切,保留语义边界,是默认首选。
- 语义切分:按相邻句向量相似度变化处切,效果好但成本高。
- 父子块(small-to-big):用小块建索引保证召回精准,命中后返回它所在的大块给模型,兼顾两头。
- 句窗检索:索引单句,返回时带前后各 n 句。
- 选型依据:问题粒度。问「某条款细节」用小块,问「总结这一章」用大块或直接喂整篇。
追问: overlap 越大越好吗?—— 不是。重复内容会占用上下文预算、稀释注意力,10–20% 足够。
RAG 上线后答非所问 / 幻觉,怎么定位和治理?
高频一句话回答: 先分层定位:是召回没召回、召回但排序错、还是召回了模型没用。三段分别有对应的指标和修法。
展开:
| 现象 | 定位方法 | 修法 |
|---|---|---|
| 召回里根本没有正确文档 | 人工标注 top-k 命中率 | 改切分、加混合检索、查询改写 |
| 正确文档在但排很后 | 算 MRR / NDCG | 加重排模型、调 top-k |
| 上下文正确但答案错 | 把上下文单独喂模型做对照 | 改提示、强制引用、降低温度 |
| 检索为空仍强行回答 | 看拒答率 | 加相似度阈值和「无依据则拒答」 |
通用兜底:
- 强制模型标注引用编号,答案里没有引用就视为不可信。
- 用 LLM 做一次「答案是否被上下文支持」的校验(faithfulness 检查)。
- 对关键业务加人工抽检和回归集。