提示与上下文工程
结构化提示、少样本、思维链,以及上下文窗口怎么用。
共识
提示工程已经不是「写一句咒语」,而是在有限的上下文预算里做信息编排。
一个好用的提示词包含哪些部分?
基础一句话回答: 角色与目标、任务与约束、可用输入、输出格式、示例、失败处理,六块齐全基本不会翻车。
展开:
- 角色与目标:一句「你是……」限定知识域和语气,但别指望它注入领域数据。
- 任务与约束:要做什么、不能做什么(长度、语言、禁止编造)。
- 输入数据:用明确分隔符包起来(三引号、XML 标签、代码块),避免与指令混淆。
- 输出格式:给出 JSON Schema 或字段说明,比「请输出 JSON」有效得多。
- 示例:1–3 个高质量少样本,覆盖边界情况。
- 失败处理:信息不足时如何回答(拒答、追问、返回空结构)。
追问: 为什么分隔符要用 XML 标签而不是 Markdown?—— 模型对标签边界的感知更稳定,不容易把数据里的 Markdown 当成指令。
少样本示例(Few-shot)为什么有效?什么时候反而有害?
进阶一句话回答: 示例把「任务定义 + 输出风格 + 边界情况」一次性编码进上下文,相当于免训练的隐式微调。示例不具代表性、标签不平衡或与真实分布差异大时,会引入偏置反而变差。
展开:
- 有效的原因:示例提供了格式锚点,模型不需要猜输出结构;同时激活了相似的内部任务表征。
- 常见坑:所有示例都是正例 → 模型倾向于说「是」;示例顺序影响结果(近因效应);示例过长挤占真实输入。
- 改进:示例要覆盖「该拒答的情况」;用检索动态挑选与当前输入最相似的示例(kNN few-shot);控制数量,2–5 个通常最多。
- 和微调的关系:示例量大且稳定时,蒸馏到微调模型里更省钱(每次调用不用带长 prompt)。
思维链(CoT)什么时候有用,什么时候没用?
进阶一句话回答: 多步推理、算术、需要规划的任务有用;知识问答、抽取、分类这类一步到位的任务收益很小,甚至因为输出变长而更慢更贵。
展开:
- 有效的场景:数学应用题、多跳推理、代码调试、需要枚举约束的规划。
- 无效的场景:事实检索(CoT 不增加知识)、简单分类(模型会编造推理过程)、对延迟敏感的场景。
- 零样本 CoT:加一句「让我们一步步思考」在部分模型上仍有效,但新一代推理模型已经内置了思考过程,不需要手动触发。
- 注意:CoT 输出的推理链不一定是模型真实的计算过程,不要把它当可解释性证据。
上下文窗口变大了,是不是就不用 RAG 了?
高频一句话回答: 不是。窗口解决「能不能放进去」,RAG 解决「该放什么进去」——成本、延迟、注意力稀释、数据权限和更新频率都还是问题。
展开:
- 成本:注意力是 O(n²),长上下文首 token 延迟和单价都显著上升;每次请求都塞 100k token 不现实。
- 效果:超长上下文存在「中间遗忘」(lost in the middle),关键信息放中间时召回率下降。
- 权限与隔离:多租户场景下,不是所有文档都该进同一个上下文。
- 工程:知识库每天都在变,重新训练不现实,检索索引可以增量更新。
- 结论:长上下文适合「整篇文档一次读完」类任务,RAG 适合「海量库中精准定位」类任务,两者常常组合使用。