RAG系统里给检索结果加prompt，到底怎么写才能让LLM不乱编？

试试在prompt里加一句“若文档无答案直接说不知道”，比光强调“严格基于”管用，输出格式也顺手定死。

chunk质量才是根源，top3要是都跑偏，prompt写得再花也是白搭。

说到这个我可太有同感了，之前调RAG prompt的时候也被模型“自由发挥”搞到崩溃。后来发现关键不是单纯加一句“严格基于文档”，而是要把检索结果和问题在结构上“锁死”。比如我会在prompt里把chunk标成【参考段落1】【参考段落2】，然后明确要求“回答时只能引用这些段落里的原话或直接归纳，禁止任何外部知识推理”，效果比笼统的指令稳定很多。

另外你提到“不知道就回答不知道”，这个必须有，而且得放在prompt最显眼的位置，最好跟“禁止编造”绑在一起写，比如“如果上述参考段落中没有明确答案，请直接回复‘根据现有资料无法确认’”。我自己试下来，这个兜底逻辑比单纯强调“不要瞎编”管用，因为模型有时候分不清自己是在推理还是在编。

至于chunk质量，说实话top3里如果混进不相关的内容，再好的prompt也救不回来。我后来加了个小技巧：在prompt里让模型先判断每个chunk和问题的相关性，只对相关的内容进行回答，不相关的直接忽略。相当于把相关性判断也扔给LLM做，比单纯靠向量检索的分数靠谱。

输出格式这块，如果只是QA demo，我建议在prompt最后加一句“只返回最终答案，不要解释过程”，能省不少token，也能防止模型把推理过程写出来误导你。但如果你需要溯源，就改成“答案后附上引用的段落编号”，这样调试起来也更方便。

最后想说，你用的LangChain + OpenAI，可以试试把temperature调低到0.1左右，配合上面的prompt结构，我这边基本能杜绝瞎编了。如果还不行，就得回头看看你的embedding模型是不是跟文档领域不太匹配，那才是根子上的问题。

我前段时间也遇到过这个坑，后来发现光靠“严格基于文档”不够，得把“如果文档没有相关信息，请直接回答‘不知道’”写进prompt里，模型才会老实。另外建议把chunk按相关性排好序，并在每条前面加个“文档1：”之类的标签，让LLM知道哪段对应哪部分。输出格式我觉得还是得约束一下，比如“只输出答案，不要解释”，不然它老爱自由发挥。你试试看，说不定能好点。

试试把“不知道”写进few-shot示例里，比单句指令管用得多，另外chunk别超过300字。

我踩过这坑，关键是让模型先判断有没有答案再生成，输出格式可以放后面约束。

先试试把“不知道”写进system指令，比塞在user prompt里稳定很多，chunk质量差时这招特别管用。

我之前也遇到过一模一样的问题，后来发现光靠prompt指令真不太够，chunk质量才是大头。你可以试试把检索回来的内容按相关度重新排序，或者加一句“如果文档里没有明确提到，就直说不知道”，比单纯强调“严格基于”管用。输出格式的话，我一般会加个“只回复答案，不要解释”，能减少模型自己加戏的概率，但最主要还是得看检索到的文本跟问题对没对上，不然prompt写得再花哨也白搭。

试试在prompt里加一句“如果文档没提，直接说不知道”，比光强调“严格基于”管用多了。
另外chunk质量确实影响大，太碎的内容模型容易放飞。

说实话我觉得你这个问题可能一半出在prompt上，另一半出在chunk质量上。我之前也遇到过类似情况，后来发现top3 chunk如果相关性不够强，模型很容易被“带偏”，宁可少给一点，也别硬凑三条不相关的。关于指令，单纯说“严格基于文档”太模糊了，我会在prompt里明确加一句“如果检索内容中找不到答案，请直接回答‘信息不足’，不要尝试推测”，并且把每个chunk前标上编号，让模型引用编号来回答，比如“根据文档2中的描述……”，这样它就不太敢自由发挥了。输出格式的话，我觉得可以要求它先给结论再给引用来源，但别强制“只返回答案”，因为有时候它需要简单解释才能让人信服。另外你试过调低temperature吗？我调到0.1之后幻觉明显少了。还有一个偏门技巧，把检索内容的开头和结尾加个特殊标记，比如【检索开始】和【检索结束】，让模型在注意力上更清楚哪些是“事实依据”，哪些是它自己的生成空间。我最近在折腾这个，感觉效果比单纯改prompt稳定，你可以试试看。

我最近也踩过这个坑，后来发现光靠prompt压模型真不如先把chunk切好。你试试把检索结果里跟问题无关的句子直接过滤掉，只留最相关的段落，模型瞎编的概率会小很多。另外“不知道就说不知道”这句话一定要写进去，而且要放在指令最前面，比“严格基于文档”管用。输出格式的话，我一般会加一句“如果文档内容不足，直接回复：根据现有资料无法回答”，这样至少不会硬凑。你现在top3是不是按相似度硬取的？可以试试加个阈值，低于0.7的直接不送进prompt。

试试把“没有就直说不知道”写进system，再限定只输出检索到的原话，别让模型自由发挥。

我试过类似的情况，后来发现光靠prompt压不住，得在检索那边下功夫。你试试把chunk切小点，或者加个rerank，让最相关的段落排前面，模型大概率会跟着走。至于“不知道就直说”这个指令，建议写成“如果文档中没有明确答案，请直接回答‘根据现有资料无法确认’”，比单纯的“不要编”管用。输出格式的话，我会在后面补一句“只回答最终结论，不要复述文档内容”，能省很多token，也减少发挥空间。

试试在prompt里加一句“文档没提到就说不知道”，另外把chunk里和问题无关的句子删掉，效果能稳不少。

输出格式必须强调，但别只写“不要解释”，给个具体模板让它照着填。

我之前也踩过这个坑，后来发现光靠“严格基于”不够，得把“如果文档里没有相关信息，请直接回答‘不知道’”写进system prompt里，效果会稳很多。另外你现在拼top3 chunk会不会太长了？我试过把每篇先裁到200字左右，再在prompt里强制要求“只引用上面文本中的原句”，模型瞎编的概率明显下降。输出格式这块，建议明确让它“只输出答案，不要解释”，不然它老喜欢加戏。你试试把chunk改成带编号的列表，然后让模型回答时引用编号，这样它注意力会更集中。

说到这个我可太有同款经历了，LangChain拼top3这个坑我踩了快俩月。你那个“严格基于”时好时坏太真实了，后来我发现关键不是加不加这句，而是得把chunk本身变成“有主权的引文”，比如每条前面标上【来源1】【来源2】，然后指令里写“回答时先声明依据哪个来源，如果多个来源冲突就明说”。这比单纯强调“别瞎编”管用得多，因为模型有了可指认的对象，反而更愿意引用而不是自由发挥。另外“不知道就直说”这句必须加，但别放在开头，要放在指令最后，配合一个“若检索内容与问题无关，请明确回答‘根据现有资料无法确认’”的示例，效果会稳特别多。还有输出格式，我建议你别只限“不带解释”，而是要求“先给结论，再在括号里标注对应来源编号”，这样既防止乱编，又方便你debug到底哪块chunk带偏了。最后多嘴一句，如果调完prompt还抽风，八成是chunk切得太碎或者排序有问题，试试把top3换成top5但限制每段更短，有时候信息密度比数量重要。

试试在prompt里加一句“若文档无答案，直接说不知道”，再约束只输出结论，我调完这俩基本不瞎编了。

我之前也踩过这个坑，后来发现关键不是“严格基于”这种话术，而是把检索结果的结构和边界定义清楚。你试过在prompt里给每个chunk加编号，然后明确要求“如果问题涉及编号2的内容，就直接引用编号2的原文”吗？这样模型更容易把答案锚定在具体片段上。另外“没有就回答不知道”这句真得加上，但别放在开头，放在指令的最后一句，配合一个“若无法从给定材料中找到依据，请直接回复：当前资料无法回答”的明确句式，效果会稳很多。还有chunk质量确实影响很大，top3如果本身语义分散或者信息重叠，模型就会自己脑补，建议先做一下chunk的过滤或重排，把和问题相关性最高的那个放第一个。输出格式方面，我个人不强制“只返回答案”，但会要求“先给出结论，再附上引用来源的编号”，这样就算它乱编，你也能追到是哪段文本误导的。最后一个小技巧：把历史对话也拼进去时，注意别让之前的错误回答污染当前生成，必要时清掉几轮。

我也有过同款痛苦，后来发现光靠prompt指令真不如直接调chunk质量来得实在。试试把检索内容改成“原文引用+来源标注”的格式，然后明确写“如果以上内容没有明确对应信息，请直接回答‘资料中未找到’”，比笼统的“严格基于”管用多了。另外输出格式那个，建议加一句“只输出最终答案，不要复述问题或补充说明”，能省不少事。

试试在prompt里把“文档里没有”单独列一条规则，比笼统说“基于文档”管用，输出格式也得固定死。

我之前也踩过这个坑，后来发现光靠prompt压是压不住的，得先查查你top3 chunk到底切得啥样。如果chunk本身把关键信息拆散了，或者混进去一堆无关噪声，你就算写“必须基于文档”也白搭，模型照样会拿它训练时的记忆来补全。

我现在的做法是，在prompt里明确加一句“如果检索内容中没有直接答案，请直接回复‘未找到相关信息’”，但重点是把这句话放在系统提示词里，而且用“禁止推测”这种负面指令比“请严格基于”更有效。

另外你可以试试把检索结果结构化，比如每条前面加“文档片段1：”再给个编号，模型对格式化的内容会更敏感，不容易跳戏。输出格式你确实得约束，不然它老爱给你解释一堆，但别只写“只返回答案”，得给个示例，比如“答案：xxx”，它就老实多了。

还有个小技巧，把问题里的关键词跟chunk里的关键句在prompt里手动做个对应，比如“问题中的‘XX’对应文档中的‘YY’”，虽然笨但真能减少幻觉。最后建议你先跑几个case看看是哪些chunk导致它犯错，很多时候是召回质量不行，prompt再调也救不回来。

我之前也踩过这个坑，后来发现光靠prompt压不住，得在检索端下功夫。你可以试试把top3改成top5，但要求模型只引用能直接回答问题的句子，别把整段塞进去，噪音少了幻觉会明显减少。另外“不知道”这个指令一定要写，而且要放在prompt中间靠前的位置，比放结尾管用，亲测有效。输出格式的话，我一般会加一句“如果检索内容不足以回答，直接回复：抱歉，我无法从提供资料中找到答案”，这样比干巴巴的“不知道”更自然。说到底，chunk质量才是根子，你试试把文档切得更细，或者用rerank重排一下，比死磕prompt省心多了。