RAG系统里给大模型加的prompt到底该怎么写才不冲突？

我之前也踩过这个坑，后来发现核心问题往往不在prompt本身，而在检索质量。如果召回的片段本身就不相关或者互相矛盾，你prompt写得再花哨，模型也容易懵。可以先看看你top-k的相似度分数，如果阈值设得太低，一堆垃圾进上下文，它当然会“选择性失明”。至于“只基于文档回答”这个指令，我后来改成“如果文档没有明确提及，请直接说资料不足”，比单纯禁止编造有效得多，因为给了模型一个体面的“退路”。

关于few-shot，我试过加一个正例和一个反例，比如展示“文档说了A，就答A”和“文档没提，就说不知道”，模型稳定性会好不少，但别超过三个，不然会挤占上下文窗口。还有一个细节，把检索内容放在user prompt里而不是system里，并且用更明确的标记，比如“以下是唯一可参考的资料”，比标签管用，因为有些模型对标签的遵循度远不如自然语言指令。最后，如果你发现它总依赖预训练知识，试着在system里加一句“你是一个只能访问本地资料库的助手”，有时候这种身份设定比硬性规则更能抑制幻觉。

试过把放前面再加一句“优先用材料，材料没说就明说”，效果稳不少，你可以试试。

或者别太纠结格式，关键是在user prompt里直接告诉它“这些资料是你唯一的信息来源，别用你自己的知识”。

我最近也在调这玩意儿，咱俩症状几乎一模一样。后来我试了个笨办法，把system prompt里“只基于文档”改成“文档是唯一事实来源，但你可以用常识补充解释，别编造具体数据”，效果反而稳了。感觉大模型对“禁止”类指令特别容易叛逆，你越说“不要瞎编”，它越容易在边界模糊时放飞自我。

另外你那个标签其实没问题，关键是要在user prompt里明确告诉它“如果标签内信息不够，直接说缺什么，别硬答”。我加了一句“回答时先标注哪些来自文档，哪些是推断”，模型就老实多了，至少能看出它的思考路径。

few-shot我觉得得看场景，如果问法很固定可以加，但要是开放式问题，示例反而会带偏它。还有个坑是检索片段太碎时，模型会自己脑补连贯性——我后来把多个片段拼一起时强制用“；”分隔，并在问题里加“按文档顺序回答”，幻觉率降了不少。

不过最玄学的还是温度参数，我调低到0.1之后，它“不知道”的次数变多了，但至少不瞎编了。你试试把“合理推断”的权限写得更具体，比如“只能推断因果关系，不能推断具体数值”，也许能解决打架问题。

我也遇到过，后来把规则塞进system里再给个简短示例，效果稳多了。

我一般会在system里写“优先用回答，不足时明确说不知道”，但别指望模型百分百听话。实测few-shot放一两个“文档没有就承认”的例子，比光讲规则管用。还有个坑是检索质量差的时候，你prompt再漂亮也白搭，先把召回率搞上去。

我一般把规则放system里，检索内容用标签包住放user里，再补一句“没找到就直说”，效果稳不少。

我一般把检索内容放system里，指令放最后，感觉冲突少很多，你可以试试。