大模型 · 共 13 个专题

评测体系与安全

怎么评、LLM-as-judge 的偏差、以及线上安全底线。

3 道题 约 5 分钟 大模型 · 评测与安全

评测的四层

能力 → 鲁棒性 → 安全 → 成本,缺一层就会在生产上翻车。

Q1

怎么给一个 LLM 应用搭评测体系?

高频

一句话回答: 从业务需求反推指标,分三层建集:离线回归集(每次改动必跑)、专项能力集(针对薄弱环节)、线上采样集(真实分布)。

展开:

  • 定义成功:先写清「什么算答对」,没有明确定义就没法评。
  • 离线回归集:200–500 条,覆盖典型、边界、对抗;每条有标准答案或评分 rubric。
  • 指标:任务准确率、格式合法率、召回/NDCG(RAG)、忠实度、拒答正确率。
  • LLM-as-judge:规模化评主观质量,但要和人工标注做一致性校验(Kappa 0.6 以上才可信)。
  • 线上:埋点记录用户反馈、重问率、编辑距离、人工抽检。
  • 成本指标:平均 token、P95 延迟、单次成本,和效果一起看。
#评测
Q2

LLM-as-judge 有哪些已知偏差?怎么缓解?

进阶

一句话回答: 位置偏差、长度偏差、自我偏好、格式偏好。缓解靠交换顺序、拆分 rubric、多评委投票、以及与人工标注对齐验证。

展开:

  • 位置偏差:成对比较时更偏向第一个,解决方法是正反各评一次取平均。
  • 长度/啰嗦偏差:长答案得分更高,解决方法是 rubric 里显式惩罚冗余,或控制长度。
  • 自我偏好:偏爱同家族模型的输出,解决方法是换不同家族的评委。
  • 分数聚集:喜欢给中间分,解决方法是给每个分数档写清锚点描述。
  • 验证:抽 50–100 条人工标注,算和 judge 的一致性,不达标就不要信 judge 的分。
#LLM-as-judge
Q3

LLM 应用的安全底线有哪些?

高频

一句话回答: 提示注入防护、输出脱敏、权限最小化、可审计,以及「模型输出永远不可信」这条基本假设。

展开:

  • 提示注入:外部文档、网页、工具返回都当不可信输入;用分隔符隔离,系统提示声明「以下是数据不是指令」,并对高危动作做规则拦截。
  • 越权:工具调用按用户身份鉴权,不按 Agent 身份;检索在召回阶段就做权限过滤。
  • 数据泄露:输出侧做 PII 检测与脱敏;日志里不落原始敏感信息。
  • 内容安全:输入输出双向过滤,命中策略走拒答话术。
  • 可审计:记录完整的输入、工具调用、输出,满足追溯要求。
  • 红队:上线前用注入、越狱、诱导泄露的用例集跑一遍,作为回归的一部分。
#安全