RAG系统里，Prompt怎么写才能让大模型不“跑偏”？

学到了，感谢分享！

我之前也踩过这个坑，光靠一句“基于文档回答”确实太松了。后来我在prompt里明确加了“只依据给定文本，禁止使用内部知识”这类硬约束，效果稳定多了，但也要注意别把模型逼得太死，否则它容易直接复读文档不回答。

另外分段加标签这个思路挺实用的，我试过让模型先引用标签再给结论，比如“根据【参数片段】”，这样就算它跑偏了，我也能顺着标签去查是哪段没读明白。还有个土办法是few-shot给一两个正反例，比如“文档写A，就答A，别改”，比纯规则描述管用。

不过说实话，开源模型对prompt的敏感度差异很大，同一个写法换模型可能又飘了。你现在用的是哪个基座模型？有时候调temperature和top_p比改prompt更能治“自作主张”的毛病。

我之前也踩过这个坑，文档越界真挺头疼的。后来我试了在prompt里明确加一句“只依据给定段落回答，禁止使用外部知识”，同时把检索内容拆成带编号的片段，让模型引用“根据文档[2]”，效果稳了不少。不过感觉开源模型对指令的服从度差异挺大，你可以试试在system消息里重复强调约束，或者对输出做一次规则校验，看看是不是能减少幻觉。另外，如果文档里确实没有答案，我一般会让模型直接输出“未找到相关信息”，而不是强行生成，这样至少不会误导用户。

我之前也踩过这个坑，单纯说“基于文档回答”确实太弱了。后来我试了把检索内容按“【文档1】...【文档2】...”这样加标签，然后要求模型必须用“根据文档X”的句式来引用，跑偏概率低了不少。另外你说的“没有就直说不知道”这个约束很关键，但最好再补一句“禁止使用常识补全”，不然模型还是会自作聪明。还有个偏方是调低temperature到0.1左右，对让模型死守文档内容挺管用的。

我之前也踩过这个坑，光靠“基于以下文档回答”确实不够，模型很容易被预训练知识带跑。后来我在prompt里加了硬性规则，比如“只允许使用提供的文档内容，禁止调用内部知识”，效果立竿见影。

另外分段加标签这个思路很有用，我习惯在每段前面加个编号，然后让模型回答时先引用对应编号再给结论，这样它就会强制去“看”文档了。你可以试试把“不知道”作为一个可选项显式写进去，比如“如果文档中无明确答案，请回复‘无法确认’”，模型会更老实。还有个细节是温度调低一点，0.1左右，减少自由发挥的概率。

我之前也踩过这个坑，后来发现光靠prompt约束作用有限，核心还是得让模型“看到”文档的结构。你可以试试在每段前面加个“文档片段编号”，然后明确要求回答时必须引用编号，比如“根据片段[2]的信息”，这样它编造的几率会小很多。另外“不知道”这个兜底词一定要加，但别只写一句，最好给个示例，比如“如果文档没提到，就回复‘抱歉，资料库中未找到该参数’”，模型会学得更快。还有个细节，把问题里的关键词在文档里加粗（或者用特殊符号标出来）再喂给模型，注意力会更集中。你用的开源模型是哪个？有些小参数量模型可能需要配合改写提示词才能稳定。

巧了，我最近也在调RAG，试下来最管用的是在prompt里明确告诉模型“只依据引用内容作答，禁止联想”，再加一句“若引用与问题无关，回复‘未找到相关信息’”。另外把文档按段落编号，让模型回答时标注引用来源，比如“根据[3]”，能逼它盯着检索结果看，跑偏概率明显低了。

这题我踩过坑，光靠prompt不够，得让模型输出时带引用来源，它才会老实按文档说。

试试在prompt里加一句“只依据给定内容回答，禁止推理”，对开源模型挺管用的。

我之前也踩过这个坑，后来发现光靠prompt不够，得在检索端下功夫。比如把文档按段落切分，每个段落前面加个“【来源：xxx】”的标签，然后prompt里明确要求“只能引用带标签的内容，且必须标注引用来源”，模型跑偏的概率会低很多。另外你可以试试在system message里加一句“如果检索内容与问题无关，必须回答‘根据现有资料无法确认’”，比单纯说“不知道”更有效。还有个小技巧，把用户问题和检索到的文档拼接时，中间加个明确的指令分隔符，比如“请严格依据以下内容回答：”，有时候模型会分不清哪部分是问题哪部分是资料。

可以试试让模型先复述文档再作答，强制它走一遍“阅读理解”流程，跑偏率会低很多。

我一般会在prompt里加一句“只依据文中内容，禁止联想”，对开源模型特别管用。

试试把关键信息在prompt里复述一遍，比如“文档中参数A对应值是多少”，模型就老实多了。

说到这个我太有同感了，之前调RAG的时候也踩过这个坑，模型跟没长眼睛似的。后来我发现光靠prompt压不住，得从检索侧和生成侧一起使劲。你提到的“如果文档里没有就直说不知道”这个约束确实得加，但光加这句不够，我试过把文档块按相关性排序，然后在prompt里明确告诉模型“优先参考第1、2段，后面的内容仅作辅助”，效果会稳很多。

另外有个小技巧，如果你用的是开源模型，可以试试在文档前后加特殊标记，比如用XML标签包住每个片段，然后让模型先“引用原文”再“给出结论”，相当于强迫它先定位证据再回答。我这边实测下来，这种“先抄后答”的格式能把幻觉率降个三四成，代价是回答会啰嗦一点。

还有个疑问想问问你，你用的开源模型是7B还是13B以上的？我总觉得小参数模型对prompt的敏感度特别高，稍微换个说法就飘，可能得考虑给模型加个few-shot示例，把“正确吸收文档”和“错误编造”的正反案例都塞进去，比纯指令管用。最后再补一句，别迷信单次prompt，试试把检索结果按置信度做个门槛，低于阈值的直接让模型拒绝回答，这样至少能保住下限。

试试在prompt里明确要求“只能依据给定文档作答，信息不足就答不知道”，再给文档加编号让模型引用，效果会稳很多。

你说的这个问题太真实了，我调RAG prompt的时候也被坑过好几回。光写“基于以下文档回答”确实不够，模型很容易把检索到的内容当参考而不是事实依据，尤其是开源模型，指令遵循能力没那么强。我后来试了一个比较管用的笨办法，就是在prompt里明确加一句“你只能使用文档中明确写到的信息，禁止推测和联想”，然后配合一个“如果文档里没有，就回答‘未找到相关信息’”的兜底逻辑，效果会稳定不少。另外，给每个检索片段前面加个编号，让模型在回答时引用对应编号，比如“根据[3]中的描述”，这样能强迫它去对照原文，跑偏概率明显降低。还有一个细节，别把整个文档一股脑塞进去，最好按段落切分，并且告诉模型“优先参考最相关的段落”，不然信息一多，它就容易抓不住重点。最后，你可以试试在prompt里加一个“反向验证”步骤，让模型先复述文档里的关键内容，再给出答案，相当于逼它先读一遍再回答，虽然会多消耗一点token，但正确率提升挺明显的。

我之前也踩过这个坑，光靠“基于文档回答”确实不够。你可以试试在prompt里明确要求模型先逐条引用文档中的原句，再给出结论，这样能逼它“看着文档说话”。另外，如果检索结果有多个段落，给每段加个编号标签，然后在prompt里指定“请优先参考[1]段的数据”，效果会稳很多。还有个偷懒的技巧，把“不知道”作为显式选项写进prompt，比如“若文档未提及，请回复‘根据现有资料无法确认’”，比单纯说“不知道”更能减少幻觉。你可以先调这几处试试，很多时候不是模型笨，是prompt没给它足够强的“指路牌”。

我之前也踩过这个坑，后来发现光靠prompt约束不太够，还得从检索侧下手。可以试试把文档按段落编号，然后在prompt里明确要求模型“只能引用编号段落里的原话”，这样它编造的概率会低很多。另外“不知道”这个兜底确实得加，但建议配合一个置信度阈值，比如检索分数低于0.7就直接拒绝回答，比单纯让模型自己判断要稳。你用的开源模型是哪个？有些小模型本身指令遵循能力就弱，换7B以上或者微调过的版本可能效果立刻不一样。

我之前也踩过这个坑，后来发现光靠prompt硬约束真不如把检索结果的结构改一改。你可以试试在每段文档前加个“【来源编号】”之类的标记，然后prompt里明确要求“回答时必须引用编号对应的内容”，这样模型就算想编也得先看看有没有引用锚点。另外“不知道就直说”这句确实得加，但别只放结尾，最好在开头就强调一遍，不然长文档里它早忘了。还有个土办法，把用户问题拆成几个子问题，让模型先逐条对照文档回答，再汇总，跑偏概率会低很多。

这问题太典型了，我试过在prompt里加“严格基于文档”之类的话，但开源模型该跑偏还是跑偏。后来发现一个笨办法挺管用，就是直接把文档拆成带编号的段落，然后在prompt里写明“请引用第几段的内容回答”，模型果然老实多了。另外如果检索结果里有明显矛盾或者不相关段落，最好在送进prompt前就过滤掉，不然模型很容易被干扰。你那个“不知道就说不知道”的约束也可以加，但感觉对小模型效果有限，不如多花点功夫在检索质量上。

这个问题我太有同感了，之前用开源模型搭RAG也踩过这个坑。你提的“如果文档没有就直说不知道”肯定要加，但更关键的是让模型意识到“必须基于引用内容推理”，而不是靠自己的参数记忆瞎编。我试过在prompt里把文档拆成带编号的段落，然后明确要求“回答时先引用对应段落编号”，效果会稳很多，模型至少会去比对一下。另外有个小技巧，把问题里提到的关键词和文档里的原句做高亮或加粗提示，比如“注意：文档第3段明确提到参数为A，请以此为准”，这对小模型特别管用。不过说实话，prompt只是兜底，如果检索到的片段本身噪音大，模型还是会漂，所以建议你同时检查一下chunking是不是太碎，或者重排逻辑有没有问题。还有个坑是系统提示词里别写“你是专家”这类空话，反而容易让模型放飞自我，直接说“你只能依据给定文档回答，禁止使用内部知识”反而更有效。

我之前也踩过这个坑，光靠“基于文档回答”确实不够。后来我加了硬性规则，比如“优先引用原文编号，禁止自行推断”，并且把文档分段成带标签的小块，让模型先定位再回答，准确率明显上来了。另外，你提到的“不知道就直说”其实很管用，但得放在prompt末尾重复一遍，否则开源模型容易忽略。还有个小技巧，把用户问题里提到的实体和文档里的关键字段做个显式匹配提示，模型就不太会跑偏了。