RAG系统里给检索结果加prompt，到底怎么写才能让LLM不乱编？

这事儿我太有同感了，之前调RAG prompt也差点摔键盘。你那个“严格基于文档”时好时坏，我猜是模型把“严格”理解成了表面功夫，实际上还是被自己的预训练知识带跑了。我的做法是把指令拆成两步：先明确说“只引用给定文本里的信息，不要补充任何外部知识”，再加一句“如果文本没覆盖到，直接回复‘文档中未找到相关信息’”。这比单纯说“不知道”管用，因为给了模型一个具体的兜底动作。另外，chunk质量确实是隐藏变量，我试过把top3改成top5但每个截短一点，反而比硬塞长段落好，因为模型注意力容易被长文本里不相关的细节带偏。至于输出格式，我会在prompt最后加一句“答案控制在两句话内，不要解释过程”，但别指望它每次都听话，尤其是面对开放式问题的时候。还有个偏方：把检索到的内容按“相关性从高到低”排序，并在每条前加个编号，像“[1]内容…”，然后指令里写“引用时标注来源编号”，模型会更有意识去对照。你可以试试看，至少能减少一半的胡编概率。

我最近也踩过这个坑，发现光靠“严格基于文档”这种话术确实不够。后来我把prompt拆成三段：先告诉模型“你是个问答助手，只能使用下面提供的资料”，然后把chunk用明确的标记包起来，比如【资料1】、【资料2】，最后再加一句“如果资料里没有明确答案，直接说不知道，不要猜测”。这么一改，瞎编的概率明显降下来了。另外你说的chunk质量也很关键，我试过把top3改成top5，但有时候检索回来的段落本身就不相关，给再多也白搭，所以我会在拼prompt前先做个简单的相关性过滤，比如用embedding算一下query和chunk的相似度，低于阈值的直接扔掉。输出格式这块，我建议还是加上“只返回答案，不要解释”，不然模型容易把推理过程也写进去，看起来特别啰嗦。还有一个细节，温度调低到0.1左右，能减少随机性，对稳定输出很有帮助。你用的LangChain的话，可以试试在retriever后面接个reranker，比单纯调prompt更治本。

试试把来源文档和问题之间加个分隔符，再补一句“没找到就直说不知道”，比单纯强调“严格基于”管用。

chunk质量才是根源，top3里要是没相关答案，prompt写得再花也白搭，先调检索再调指令。

这问题我太有同感了，LangChain默认的stuff链就是简单拼chunk，模型一看到上下文里有点关联词就容易放飞自我。我后来是直接把system prompt改成“你是一个只根据给定资料回答的助手，资料中没有的信息一律回复‘根据现有资料无法确认’”，然后还加了一句“如果资料之间有矛盾，请指出矛盾点而不是自行融合”。你光说“严格基于”其实模型还是会觉得它在跟你聊天，得把“拒绝回答”当成一个合法输出选项给它，不然它宁愿编也不肯说不知道。另外有个坑是top3的chunk如果本身相关性不够，你prompt写得再细也白搭，我建议你先用个简单的embedding距离检查一下召回内容，有时候是分块切太碎把关键信息切断了。输出格式嘛，我一般会加“只输出最终答案，不包含分析过程”，但别用“严格”这种词，改成“直接回答”反而更有效，可能是模型对指令的敏感度问题。你试试用few-shot给一正一反两个例子，比纯指令稳得多。

prompt里加“没有就直说不知道”确实有用，但更关键的是让模型明确处理检索结果和自身知识的边界，比如加一句“如果检索内容不相关或不足，明确告知用户无法回答”比单纯说“严格基于”管用。另外你检查下chunk是不是太碎或者上下文被截断了，有时候top3里信息本身就不连贯，模型只能脑补。输出格式的话，我习惯在prompt最后加“只输出最终答案，不要解释过程”，能减少它废话和跑偏的概率。

说实话你这个情况我太懂了，之前调RAG prompt的时候也卡了好久。后来我发现问题往往不在指令本身，而是chunk质量太差，模型压根没从检索内容里找到对得上的答案，它就只能硬编。你可以先试试把top3改成top5或者动态检索，看看是不是上下文不够完整导致的幻觉。

另外指令这块，我觉得“请严格基于以下文档回答”其实太笼统了，模型会理解成“尽量参考”，而不是“必须遵守”。我现在的写法是明确告诉它“如果文档中没有提及该信息，请直接回复‘根据提供材料无法回答’”，而且把这个规则放在prompt末尾，因为很多模型对结尾的指令记忆更牢。输出格式的话，我建议你加一句“只输出最终答案，不要包含任何解释或引用原文”，这样能省去很多解析的麻烦，但前提是你的chunk质量真的过关，否则它会为了不解释而硬凑一个答案。

还有一个很关键的点，你可以试试在每段chunk前面加个编号，然后prompt里写“请优先引用编号为2的内容”，这样模型能知道哪些是重点，不会把所有检索结果混在一起乱答。我最近还试过让模型先判断“材料是否包含答案”再决定回答，相当于加了个二分类门槛，效果比单纯强调来源稳很多。不过说到底，prompt只是兜底，chunk切分和embedding质量才是根本，你要是方便的话，把检索结果打印出来看看，很多时候是召回的内容本身就没覆盖到问题。

我之前也踩过这个坑，后来发现光靠指令不够，关键得把chunk里的关键信息“喂”得更结构化。你可以试试在prompt里加一句“如果检索内容与问题无关，直接说‘资料中未找到相关信息’”，比单纯强调“严格基于”管用多了。另外，输出格式我建议强制限定，比如“只返回答案，若不知道则输出‘无答案’”，不然模型容易发散。最后检查一下top3的相似度阈值，有时候检索回来的压根就是无关内容，模型再怎么写也救不回来。

别光调prompt，试试把chunk切小点再过滤一遍，检索质量上去了模型自然不乱编。

我之前也踩过这个坑，后来发现光靠指令压不够，得在prompt里把“文档内没答案就明说”写成硬性规则，比如加一句“如果检索内容无法直接支撑回答，请直接回复‘未找到相关信息’”，比单纯说“基于文档”管用。另外chunk质量确实很关键，top3里如果夹着无关段落，模型很容易被带偏，我后来加了重排序（比如用Cohere rerank）效果提升特别明显。输出格式的话，如果你下游要解析，明确要求只输出JSON或者纯文本答案能省很多事，但要是纯聊天场景，太死板反而影响体验。我现在的做法是让模型先判断有没有答案，再决定是详细说还是简单回“不知道”，比一刀切指令稳定不少。

我之前也踩过这个坑，后来发现光靠“严格基于文档”真不够，模型还是会脑补。我现在的做法是先在system prompt里定死规则，比如“只能使用给定上下文，禁止调用内部知识”，然后在用户prompt里把chunk按编号列出来，再明确说“如果上下文没有答案，直接回复我不知道”。输出格式倒是建议限定一下，尤其demo阶段，加个“只输出答案，不要解释”能省很多事。另外chunk质量确实影响大，如果检索回来的内容本身就不相关，prompt怎么写都没用，可以试试调高相似度阈值或者换种切分方式。

试试把“不知道”写成硬性输出选项，比光强调“基于文档”管用，格式也得锁死。

我之前也踩过这个坑，LangChain拼出来的top3 chunk如果和问题关联度不够，模型确实容易“自由发挥”。后来我试了在system prompt里加一句“你只能使用上下文中的事实，如果信息不足，必须明确回答‘根据提供的资料无法确认’”，比在user prompt里反复强调管用得多。另外，你可以在把chunk拼进去之前，先用一个简单的重排序或者关键词过滤，把明显不相关的段落剔掉，不然模型会被噪音干扰。输出格式那块，我个人觉得“只返回答案”这种约束在demo阶段没必要，反而容易让模型把“不知道”也压缩成奇怪的短句，不如让它先给结论再给一句依据，方便排查问题。还有个小技巧，检索出的每个chunk前面加个编号，让模型在回答里引用，比如“根据[2]中的描述”，这样它会更倾向于用检索内容而不是瞎编——算是一种软约束。你要是方便的话，可以贴一条具体的prompt模板出来，说不定大家能看出来是分隔符的问题还是指令位置的问题。调这个确实磨人，但多半不是prompt单方面的锅，chunk切分和embedding质量的影响可能更大。

我最近也踩过这个坑，后来发现单纯靠prompt指令真的压不住模型自由发挥的冲动，尤其是当检索内容本身跟问题关联度不够的时候。我现在的做法是把检索结果拆成带编号的段落，然后明确告诉模型“只能引用编号段落里的原话或直接推理，禁止外挂知识”，并且加一句“如果所有段落都无法支撑答案，就输出‘根据现有资料无法回答’”——这比单纯说“请严格基于文档”效果好不少，因为模型有了明确的兜底路径。另外你提到输出格式，我觉得有必要强调只返回答案和对应段落编号，这样既能方便调试，也能减少模型为了凑结构而编内容的空间。不过说实话，chunk质量才是根因，我试过把top3改成top5并让每个chunk带标题和来源，模型跑偏的概率明显下降，因为信息更有上下文感了。还有个小技巧是，在prompt末尾把用户问题再复述一遍，并加上“请基于上述资料回答”，相当于给模型一个注意力锚点，你可以试试看。当然，不同模型对指令的敏感度差挺多，OpenAI的gpt-4o比3.5听话很多，如果条件允许，换个模型可能比死磕prompt更省心。你当前主要用的是哪个版本？如果方便的话可以贴一条翻车案例的prompt出来，大家帮你看看具体是哪里漏了。

试试把检索内容按“证据1/证据2”编号，再让模型先引用编号再回答，瞎编概率会低很多。

这种情况太常见了，我搭RAG的时候也踩过一模一样的坑。你光加一句“严格基于文档回答”基本没用，模型对否定式指令本身就不敏感，尤其top3里如果混了不相关的chunk，它反而更容易被带偏。我的经验是prompt结构比措辞重要，把检索内容用明确的分隔符包起来，比如用XML标签或者三引号，然后指令里写清楚“只使用标签内的信息，标签内没有提到的话直接说不知道”，这样命中率会高不少。另外“不知道”这个兜底一定要写，而且要给它一个明确触发条件，不然模型会自己脑补。chunk质量确实也是大头，如果切得太碎或者召回了语义相近但答非所问的段落，再好的prompt也救不回来，建议先看看top3的相关性打分。输出格式那个我一般会加，比如“只输出答案本身，不要复述文档”，能省掉很多废话。还有个小技巧是把问题放在检索内容后面，模型注意力会更集中在问题上，你可以试试对比一下顺序。

我也遇到过，后来把“文档没有就说不知道”加进去好很多，你可以试试。

我之前也踩过这个坑，后来发现光靠“严格基于文档”这种话模型根本不买账，得把指令写得更死一点。我的做法是明确说“只允许使用下面提供的资料，资料里找不到就直接说不知道”，然后把检索内容用分隔符包起来，效果稳定不少。另外top3 chunk有时候相关性太差，模型看不到有用信息就自己编了，建议先把检索质量调一调再说prompt。输出格式我也习惯加上“不要解释，直接给答案”，省得它废话一堆还夹带私货。

我也踩过这个坑，后来发现光靠“请严格基于文档”真不太管用。试试把检索内容用明确的标记包起来，比如用XML标签或者三引号，然后指令里直接说“只允许引用标签内的内容，找不到就回答‘文档未提及’”。另外top3 chunk之间最好加个分隔符，不然模型容易串着编。chunk质量确实关键，如果切得太碎或者语义不完整，再好的prompt也救不回来。