RAG系统里给检索结果加prompt，到底怎么写才能让LLM不乱编？

说实话，你这个情况太典型了，我刚开始搭RAG的时候也被这个问题折磨过。光靠prompt硬扛真的不行，因为LLM天生就有“编造倾向”，尤其是当chunk内容和用户问题关联度不够高时，它更倾向于用自己的知识补全。我的做法是先在prompt里加一个“强制引用”机制——比如要求模型回答时必须引用原文的片段或行号，如果找不到对应内容就明确说“文档中没有相关信息”。这样既能约束它不乱编，又能帮你快速定位chunk质量的问题。

另外你说“严格基于以下文档回答”效果时好时坏，我怀疑问题可能出在chunk排序上。Top3 chunk如果相关性不够靠前，模型很容易被后面的无关内容带偏。我试过在prompt里把chunk按相似度分数从高到低排好，并在每条前面加一个“相关性：高/中/低”的标签，模型的理解能力明显提升。至于输出格式，我建议在prompt结尾单独用一行强调“只返回答案，不要额外解释”，但前提是你得先解决“编造”这个核心问题，否则它可能连“不知道”都懒得说，直接编个答案糊弄你。

最后想问问，你用的chunk大小和重叠是多少？有时候chunk切得太碎，上下文不完整，模型确实难做。我最近试过把chunk扩大一倍，同时加一句“如果上下文不足以回答，请基于你的常识但必须标注‘此为推测’”，效果比单纯禁止乱编要好。

chunk质量确实关键，可以试试先让模型判断文档是否相关，再决定回答还是拒绝。

试过在prompt里加一句“如果找不到答案就说不知道”，然后设temperature=0，效果稳了很多。

你这情况我也踩过坑，后来发现prompt里加一句“如果检索内容里没有明确依据，直接回答‘资料中未找到相关信息’”效果稳很多。另外可以试试把chunk按相似度排序后用分隔符标清来源，模型更容易定位。输出格式看场景吧，如果下游要解析就强制json，纯问答其实不用太死板。另外建议检查下chunk本身是不是太碎片或者摘要性太强，有时候模型不是不听话，是内容本身不够明确。

我最近也遇到类似的问题，后来发现把“如果文档里没有就回答不知道”这句明确写进prompt，再配合few-shot示例，效果明显稳定很多。另外chunk的质量确实关键，如果片段里关键信息被截断了，模型就更容易自由发挥。输出格式这块我一般会加个结构化的要求，比如“只返回答案，不要解释”，但前提是检索内容本身得够精准，不然模型还是会硬凑。你试过调整chunk的上下文窗口大小或者重叠度吗？

我最近也在折腾这个，发现光靠“严格基于文档”这种指令确实不够稳定。后来我在prompt里加了个显式的“如果文档中没有相关信息，请明确回答‘未找到相关内容’”的约束，同时把chunk按相关性排序并标注了来源编号，模型瞎编的情况少了很多。另外输出格式我个人觉得还是带上简要解释比较靠谱，不然它可能为了凑答案强行编逻辑。你试过调整chunk的粒度或者增加一个“拒绝回答”的示例吗？

把“如果文档里没有就回答不知道”直接写进system prompt里亲测有效，能压住不少幻觉。

我最近也踩过类似的坑，试下来感觉光靠指令不够，得从chunk本身下手——把文档里关键结论和上下文尽量完整保留，别切得太碎。另外我习惯在prompt里加个“如果找不到对应信息，就明确说无法回答”，再配上少量示例，效果比单纯强调“基于文档”稳定不少。输出格式这块我倒觉得不用强求，除非下游有解析需求，不然模型自己生成的回答反而更自然。

这个问题我太有共鸣了，调prompt调麻是真的，我之前也卡在这步很久。其实你试的那个“严格基于文档回答”方向是对的，但光靠一句话不够，得搭配一些具体的“行为锚定”。比如我会在prompt里加一段：“如果检索到的文档中没有明确支持该问题的信息，请直接回答‘根据现有资料无法确认’，不要尝试推测或补充细节。”这比单纯说“不要编”管用很多，因为LLM对否定指令的服从性往往不如对明确动作的指令。

另外我觉得chunk质量确实是隐形的坑，尤其是当top3片段里本身就有矛盾或模糊信息时，模型会倾向于“调和”出一个看似合理的答案，反而忽略了你给它的边界。我踩过的雷是：如果chunk里出现“可能”“据说”这类词，模型很容易把它们默认成事实。所以我现在会额外加一条“只引用文档中明确陈述的内容，不要对不确定性词汇做延伸解读”。

至于输出格式，我个人经验是，如果场景不需要解释，最好强制用JSON格式返回，比如“请输出一个JSON对象，字段answer为最终答案，字段source为对应文档ID”。这样既省去了模型啰嗦的风险，也好做后续的溯源校验。你可以先拿一个你调得最痛苦的case，把chunk文本和问题贴到ChatGPT里手动试几种不同措辞，找到那个“让模型彻底闭嘴不编”的临界点，再固化到代码里。prompt这玩意儿真的得暴利测试，别太早放弃。

这个问题我太有共鸣了，之前调这个也卡了好久。我觉得问题大概率不是出在prompt指令上，而是chunk质量和检索逻辑的匹配度。比如你的top3 chunk里如果包含了高度相似但语义上有微小差异的片段，模型就容易“误解”然后自由发挥。我后来试过在prompt里直接加一个“如果检索内容与问题无关，请输出‘无法根据提供信息回答’”的硬约束，效果稳定很多，但前提是检索结果本身要真的相关。另外，输出格式这块我觉得没必要强制限制，除非你的下游应用有特殊需求，因为让模型自然生成反而更容易判断它有没有“跑偏”——比如它突然给你补了一段背景知识，那八成就是瞎编了。还有个细节：你可以在检索结果前加一句“以下是相关文档片段”，然后每个chunk前面标个序号，这样模型能更清楚边界在哪。对了，你用的embedding模型是什么？有时候换个更贴近业务领域的embedding，比死磕prompt管用得多。

试试把检索内容放在用户问题后面，再加一句“如果以上资料里没提到就说不知道”，效果会稳很多。

这个问题我也折腾过很久，其实核心不只在prompt指令，更在chunk本身的结构。你可以试试把检索结果按“文档标题+内容+来源”的格式组织，然后用类似“如果下面文档中没有明确提到，请直接说‘未找到相关信息’”这样的条件句，比单纯说“严格基于”更有效。另外我个人的经验是，在prompt最后加一句“只输出答案，不要额外解释”反而会让模型更倾向于编造，因为它在压力下会强行补全。不如改成“如果找到答案，用文档原话回答；如果找不到，明确告知用户缺失信息”，这样模型会更诚实。还有个小技巧，你可以把top3 chunk按相关性重新排序，把最相关的放前面，因为模型对长上下文的开头部分记忆更准确。不过说到底，如果chunk本身质量差或者切得太碎，模型确实容易跑偏，建议先检查下检索回来的内容是不是真的覆盖了问题核心。

你这情况太真实了，我也踩过类似的坑。个人经验是光靠“严格基于文档”这种指令不太够，最好在prompt里加一条“如果检索内容里没有明确依据，请直接回答‘抱歉，我找不到相关信息’”，能有效减少幻觉。另外可以试试把chunk用编号分开，然后在指令里强调“请引用编号来源回答”，这样模型更容易定位到原文。输出格式的话，如果只是做问答demo，建议先不加限制，等跑通逻辑再考虑优化。

我最近也踩过这个坑，后来发现光靠prompt指令真不够——chunk质量才是关键，尤其是相关性低的片段塞进去反而会干扰模型。建议你把top3改成按相似度阈值过滤，低于0.7的直接扔掉，同时在prompt末尾加一句“如果找不到对应内容，直接说不知道”，效果会稳定很多。输出格式的话，除非你有后续解析需求，否则不用硬性限制，让模型自然输出反而容易判断它有没有瞎编。

你这个问题我也踩过坑，后来发现光加“严格基于文档”不够，还得明确一条兜底指令，比如“如果检索内容里没有相关信息，直接回复‘未找到’，不要自己编”。另外chunk质量确实关键，先把top3里明显无关的过滤掉，不然模型容易被带偏。输出格式的话，我一般会在prompt里加个“只输出答案，不要额外解释”，省得它自由发挥。

试试在prompt里把检索内容用xml标签包起来，再加一句“若标签内无答案直接说不知道”，效果会稳很多。

试过把原文加引号塞进去，效果比直接扔好点，你那个“不知道”指令其实挺关键的。

我也踩过这个坑，光靠一句“严格基于文档”确实不够稳。后来我把prompt拆成两步：先让模型判断检索内容是否相关，再决定是直接引用还是输出“找不到依据”，效果明显好多了。另外chunk质量确实关键，我试过把top3改成只给1个最相关的，幻觉反而少了。输出格式的话，如果下游需要解析，明确要求“只返回答案”能省很多事。

试试在prompt里加个“如果文档没提就直说不知道”，另外把chunk切小点，相关性不够模型确实容易跑偏。

我也踩过这个坑，后来发现光是“严格基于文档”不够，得把chunk质量先拉满。建议拆prompt时明确分段：“以下是相关文档片段：... 请仅根据这些内容回答，如果找不到答案，直接说‘文档中未提及’”。另外输出格式最好也限定死，比如“只输出答案，不要额外解释”，模型乱编的概率会低很多。你试过把检索结果按相关度排序后加个置信度标记吗？我这么搞之后幻觉少了大半。