RAG系统里，Prompt怎么写才能让大模型不“跑偏”？

说到这个我太有感触了，之前调RAG的时候也被这个问题折磨过。你那个“基于以下文档回答”的写法确实太弱了，模型很容易把检索到的内容当成背景噪音，尤其是开源小模型，注意力一分散就自己脑补了。我后来试过把指令改成“你只能使用文档中明确写出的信息，禁止推测和联想”，加上“如果文档没有提到，就回答‘未找到相关信息’”，效果会好一些，但也不是百分百稳定。

另外你提到的分段加标签，这个思路挺对的，但我觉得关键不是加标签，而是让模型明确知道“哪些内容是被引用的事实”。我现在的做法是在prompt里把文档拆成几个块，每块前面加个“【证据1】”这种标识，然后要求模型在回答时先引用证据编号，再给结论，这样它至少得“看”到那段文字才能引用，比空泛的“基于文档”要强很多。

不过还有个坑你可能还没遇到，就是当文档里同时存在多个相似但矛盾的信息时，模型会挑它“觉得”对的那个，而不是最新的或最权威的。这时候光靠prompt就不够了，我建议你查一下检索排序的得分，可能得在prompt里显式给出文档的元信息，比如时间戳或来源等级，让模型有优先级判断。你现在用的开源模型是哪个？如果是7B以下的，可能还得考虑模型本身的指令遵循能力上限，有些模型真的怎么prompt都没用，得换微调过的版本。

试试在prompt里强调“严格按文档原话回答，禁止推理补全”，实测能压住不少胡编。

试试在prompt里强制要求“只引用原文数字”，再配合分段标签引用，效果会稳很多。

我之前也踩过这个坑，光靠一句“基于文档回答”根本不够。后来我把prompt改成了强制让模型先“引用原文片段”再给结论，比如要求它输出格式是“文档原文说……，因此答案是……”，跑偏率明显降下来了。

另外你提的“不知道就直说”特别重要，但光加这句还不够，最好再给它一个兜底选项，比如“如果文档和问题无关，请回答：‘抱歉，我无法从现有资料中找到答案’”，不然它还是会硬编。

还有个野路子：把检索到的每段前面加个编号，然后在prompt里规定“回答时只能引用编号对应的段落内容”，这样模型哪怕想瞎编也会觉得麻烦，实测对开源小模型特别管用。

这问题太真实了，我也踩过同样的坑。光说“基于文档回答”确实管不住开源模型，后来我试了把检索片段前面加上类似“以下是唯一可信资料”的强约束，再让模型先复述关键内容再给结论，效果稳不少。你提到的“不知道就直说”也很关键，但最好配合few-shot示例，让模型看到具体怎么拒绝，空泛的指令它根本不当回事。另外可以试试把文档分段编号，然后强制模型在答案里引用编号，能明显减少瞎编。

不过参数类问题如果文档里有多处相似描述，模型还是可能选错，你有没有试过在prompt里让模型先做一次信息核对，把相关句子原文摘出来再回答？那样容错率高一些。

我之前也踩过这个坑，后来发现光靠prompt约束不够，得从检索端下手。你现在这个情况，可以试试把文档按段落切细点，每个段落前面加个“【来源】”标签，然后prompt里明确要求“引用标签内容作答”，效果会稳很多。

另外“不知道就说不知道”这个一定要加，但得配上“如果文档内容与问题无关，请明确说明”，不然模型容易硬凑。还有一个偏方是让模型先复述一遍文档关键句，再给答案，相当于强制它“读”一遍。你用的开源模型是哪个？有些模型对指令跟随能力弱，可能得调低温度参数试试。

其实把检索片段直接标上序号，让模型先引用再回答，比单纯加“不知道”这种约束管用得多。

说到这个我太有同感了，之前调一个客服问答RAG也踩过同样的坑，检索回来的内容明明写着“不支持7天无理由”，模型硬是给用户说“可以退换”，差点没把我气死。后来我发现光靠prompt里喊“请基于文档”根本不够，得把约束变成结构化的东西，比如在每段文档前加个“参考片段[1]”的标签，prompt里明确要求“回答时必须引用片段编号，且只能使用编号对应的内容”，这样模型就算想编也得先过引用这关，幻觉率能降不少。另外你提到的“不知道就直说”这个很有必要，但建议再补一句“如果文档信息与问题无关，也明确告知用户”，因为很多时候模型不是没看到，而是觉得答非所问也能糊弄过去。还有一个偏门但有效的招，就是把prompt里的“基于以下文档”改成“请严格核对以下文档，并逐条验证你的回答是否与文档冲突”，这相当于给模型加了个自查步骤，实测对开源小模型特别管用。不过我也挺好奇你用的哪个开源模型，有些7B的小模型就算prompt写上天，理解力就在那，可能换个大点的基座更解决问题。

试试在prompt里把检索内容标成引用块，让模型必须逐条引用再回答，编造率能降不少。

可以加个“答案必须能在原文找到依据”的硬指令，配合few-shot示例调一下，效果立竿见影。

说实话你说的这个“文档对了但模型自己编”的情况我太熟了，尤其是开源小模型，注意力一分散就爱自由发挥。我后来试了个笨办法但挺管用：把检索到的每段文档前面加个“来源[id]”的标记，然后在prompt里明确要求“只引用带标记的内容，回答时把对应id也带上”，模型就算想编也得掂量下。另外你提到的“没有相关信息就说不知道”这个约束必须加，但光加这句话不够，后面还得跟一句“禁止猜测或使用外部知识”，不然模型还是会硬凑。还有个坑是别把整个文档一股脑塞进去，超过模型上下文窗口的30%它就开始“失忆”，最好先做个重排序，只保留跟问题最相关的两三段。我现在的prompt结构大概是：先给角色定义，再列检索片段，然后强调“严格基于片段回答，若片段无答案则回复未找到”，最后加一个输出格式示例。最后想问下你用的什么开源模型？如果是7B以下的，可能还得考虑是不是模型本身指令遵循能力就弱，那prompt怎么写效果都有限。

加个“只依据文档回答，禁止联想”确实有效，另外把关键段落用XML标签包起来再引用，效果立竿见影。

试试让模型先引用原文再回答，强制它基于检索片段输出，比单纯说“基于文档”有用多了。

试试把关键信息在prompt里单独拎出来强调一遍，比如“文档中明确写着：参数为A”，效果比泛泛约束强。

你这个情况太典型了，光靠prompt约束其实治标不治本。我试过在system里强写“严格依据上下文”，但开源模型该跑偏还是跑偏。后来发现把检索片段按段落编号，在问题里明确要求“只能引用编号为X的内容”会好很多，另外生成前加一步“先用一句话复述文档核心事实”也能有效抑制幻觉。你可以试试把“不知道”作为显式选项写进few-shot示例，比单纯说“请说不知道”管用。

加个“没找到就直说不知道”确实管用，但更关键的是让模型先复述文档关键句再作答，强制它“读”进去。

说实话你这个现象太典型了，很多开源模型在RAG里就是会“选择性失明”，尤其是当检索段落里信息密度不高，或者用户问题本身带了点诱导性时。我后来试下来，单纯加“不知道”这种约束只能解决一小部分，模型还是会硬凑答案，更有效的办法是让prompt里明确告诉它“你的唯一依据是给定的片段，禁止使用内部知识补全”，甚至可以把每个片段前面加个编号，然后要求回答时必须引用编号，比如“根据片段3”。还有个坑是，如果文档里同时出现A和B两个相似参数，模型容易混淆，所以最好在prompt里强调一下“如果多个片段存在冲突，请指出冲突，不要自行选择”。另外你也可以试试把用户问题重写一遍再送进去，有时候模型跑偏是因为它没真正理解用户问的维度，这个和检索质量无关。最后建议你做个few-shot示例，给一个“文档说X但模型不能答Y”的负面例子，比写一堆规则管用得多。

我之前也踩过这个坑，后来发现光靠prompt约束不太够，模型在长上下文里确实容易“选择性失明”。你提到的“如果文档没有就直说不知道”肯定得加，但更关键的是把检索结果的结构搞清晰，比如每条前面加个“来源1：”这种标签，然后prompt里明确要求“必须引用来源编号”，这样能逼模型去对应着看。还有个土办法挺管用，就是把你觉得模型容易忽略的字段单独提出来，在prompt里重复一遍，比如“产品参数中，电压值是XX，请以此为准”，相当于手动给它划重点。不过说实话，开源模型对指令的遵循能力参差不齐，如果你用的模型本身指令跟随弱，光改prompt提升有限，可能得考虑换底座或者做一层后处理校验。另外我特别好奇，你给模型的文档是整段塞进去还是做了摘要？如果文档太长，信息密度低，模型跑偏的概率会大很多，试试只喂最相关的几个chunk，别全堆进去。最后想说，这种问题有时候不是prompt的锅，是检索排序不够准，重点段落没排前面，模型当然看不见。

我之前也踩过这个坑，光靠一句“基于文档回答”确实太松了。后来我把prompt改成强制要求模型先逐条引用原文再下结论，并且明确标注“若文档无此内容，必须回答无法得知”，效果稳定了不少。另外你可以试试把检索到的段落按序号拆开，让模型在回答里标注引用了哪段，这样它能更专注在给定材料上，跑偏概率会小很多。不过开源模型对指令遵循能力差异挺大，你用的是哪个模型？有时候换个大点的参数版本比调prompt更管用。

你这个“文档对但模型自己编”的情况太典型了，光靠 prompt 约束确实不够。我试过在系统提示里加“只依据文档，禁止联想”，但开源模型有时还是会无视，最后发现把检索到的段落按编号列出来，并在回答要求里明确写“引用段落编号作为依据”会有效很多。另外，你提到的“不知道就说不知道”一定要加，最好再配一个兜底逻辑，比如模型置信度低时直接返回检索片段。你用的是哪个开源模型？有些小参数量模型本身指令遵循就差，换Qwen或DeepSeek系会好不少。

我之前也踩过这个坑，光靠“基于文档回答”确实容易飘。后来我加了句“严格依据给定文档，若信息不足则明确回复未知”，然后把每个段落前面标个[1][2]的索引，让模型先引用再作答，幻觉少了很多。另外，你可以试试在prompt里强调“忽略与问题无关的检索内容”，有时候多段文档混在一起，模型反而被干扰了。不过开源模型对指令遵循能力差异挺大，如果效果还是不稳，建议先调检索精度，再考虑换个对指令更敏感的基础模型。