检索与重排
向量检索的局限、混合检索、重排模型与评估指标。
一句话
向量检索擅长「语义相近」,关键词检索擅长「字面精确」,两者互补;重排负责在候选里挑出真正该进上下文的那几条。
向量检索有什么局限?为什么要用混合检索?
高频一句话回答: 向量检索对专有名词、型号、ID、罕见术语容易失手,因为嵌入模型没见过这些词;BM25 对字面匹配极其可靠。两者用 RRF 融合,召回率通常能提升 10–30%。
展开:
- 向量的弱点:
A100-80G、内部订单号、人名缩写,常被映射到模糊的语义邻域。 - BM25 的弱点:不懂同义词,问「怎么防止模型胡说」搜不到「幻觉」。
- 融合方式:RRF(倒数排名融合)不需要调权重,
score = Σ 1/(k + rank),k 取 60 是常用默认;也可用加权分数融合。 - 进阶:学习型稀疏检索(SPLADE、BGE-M3 的 sparse 头)一个模型同时出稠密和稀疏向量,省一套管线。
- 元数据过滤:时间、部门、文档类型先过滤再检索,比任何模型调优都有效。
重排(Rerank)为什么必要?怎么选模型?
进阶一句话回答: 双塔检索把查询和文档分别编码,交互不足、精度有限;Cross-Encoder 把「查询+文档」拼在一起过模型,精度高但只能对小候选集用。
展开:
- 召回-重排范式:向量检索取 top 50–100,重排取 top 5–10 进上下文。
- 延迟:Cross-Encoder 要逐对推理,100 条候选在 GPU 上约几十毫秒,CPU 上会慢一个数量级。
- 选型:中文场景 bge-reranker-v2-m3 是稳妥选择;对延迟敏感可用 ColBERT 类 late-interaction(预计算文档 token 向量,在线做 MaxSim)。
- 调优:重排模型的训练数据要来自你自己的业务分布,通用模型在垂直领域经常不如 BM25。
怎么评估检索质量?只看召回率够吗?
进阶一句话回答: 不够。召回率只看「有没有」,不看「排第几」;排序质量要看 MRR / NDCG,最终还要看端到端答案正确率。
展开:
- Recall@k:top-k 里是否包含正确答案,衡量检索上限。
- MRR:第一个正确结果的排名倒数,衡量「用户能否一眼看到」。
- NDCG@k:考虑多级相关性,适合有多种正确文档的场景。
- 端到端:答案正确率、忠实度(faithfulness)、引用准确率。
- 做法:维护 200–500 条带标注的回归集,每次改切分/模型/参数都跑一遍,别靠感觉调参。