大模型 · 共 13 个专题

检索与重排

向量检索的局限、混合检索、重排模型与评估指标。

3 道题 约 5 分钟 大模型 · 检索增强

一句话

向量检索擅长「语义相近」,关键词检索擅长「字面精确」,两者互补;重排负责在候选里挑出真正该进上下文的那几条。

Q1

向量检索有什么局限?为什么要用混合检索?

高频

一句话回答: 向量检索对专有名词、型号、ID、罕见术语容易失手,因为嵌入模型没见过这些词;BM25 对字面匹配极其可靠。两者用 RRF 融合,召回率通常能提升 10–30%。

展开:

  • 向量的弱点:A100-80G、内部订单号、人名缩写,常被映射到模糊的语义邻域。
  • BM25 的弱点:不懂同义词,问「怎么防止模型胡说」搜不到「幻觉」。
  • 融合方式:RRF(倒数排名融合)不需要调权重,score = Σ 1/(k + rank),k 取 60 是常用默认;也可用加权分数融合。
  • 进阶:学习型稀疏检索(SPLADE、BGE-M3 的 sparse 头)一个模型同时出稠密和稀疏向量,省一套管线。
  • 元数据过滤:时间、部门、文档类型先过滤再检索,比任何模型调优都有效。
#混合检索#BM25
Q2

重排(Rerank)为什么必要?怎么选模型?

进阶

一句话回答: 双塔检索把查询和文档分别编码,交互不足、精度有限;Cross-Encoder 把「查询+文档」拼在一起过模型,精度高但只能对小候选集用。

展开:

  • 召回-重排范式:向量检索取 top 50–100,重排取 top 5–10 进上下文。
  • 延迟:Cross-Encoder 要逐对推理,100 条候选在 GPU 上约几十毫秒,CPU 上会慢一个数量级。
  • 选型:中文场景 bge-reranker-v2-m3 是稳妥选择;对延迟敏感可用 ColBERT 类 late-interaction(预计算文档 token 向量,在线做 MaxSim)。
  • 调优:重排模型的训练数据要来自你自己的业务分布,通用模型在垂直领域经常不如 BM25。
#Rerank#Cross-Encoder
Q3

怎么评估检索质量?只看召回率够吗?

进阶

一句话回答: 不够。召回率只看「有没有」,不看「排第几」;排序质量要看 MRR / NDCG,最终还要看端到端答案正确率。

展开:

  • Recall@k:top-k 里是否包含正确答案,衡量检索上限。
  • MRR:第一个正确结果的排名倒数,衡量「用户能否一眼看到」。
  • NDCG@k:考虑多级相关性,适合有多种正确文档的场景。
  • 端到端:答案正确率、忠实度(faithfulness)、引用准确率。
  • 做法:维护 200–500 条带标注的回归集,每次改切分/模型/参数都跑一遍,别靠感觉调参。
#评估#NDCG