RAG里Prompt怎么写才能让大模型老实引用原文，不乱编？

我之前也遇到过一模一样的问题，GPT-4在RAG里真的特别容易“脑补”，尤其是检索片段本身有点模糊的时候。你说的把参考文档和问题分开写，我试过用【参考文档】和【用户问题】这种标记，确实比混在一起强，但关键是分隔符后面要加一句“请仅引用上述文档中的原话，不要做任何推断”。另外temperature=0不是万能的，它只能减少随机性，但模型还是会基于训练知识去“合理推测”，所以指令里必须明确“如果文档没提到，就说没提到”。Few-shot我个人感觉帮助有限，除非你的示例能覆盖到“文档信息不足”这种反例，否则模型学到的更多是格式而不是约束。我现在用的一个笨办法是，在Prompt末尾加一句“请逐句检查，每个事实都必须能在参考文档中找到原文对应，否则删掉那句话”，效果比单纯说“严格基于”好很多。不过你提到的价格区间那个例子，也可能是检索到的片段里确实有其他上下文提到了120元，建议你先看看是不是检索召回的问题，而不仅仅是Prompt的锅。

我之前也踩过这个坑，光靠system prompt确实压不住。后来把检索片段用【参考文档】包起来塞进user prompt，效果明显好很多，模型会默认这是“事实源”。另外temperature=0真的管用，但别指望它解决所有问题，关键还是让模型在没把握时说“不知道”，这比硬编答案强。Few-shot我试过，成本有点高，除非你的场景特别固定，不然感觉没必要。你还可以试试在prompt里加上“如果原文没提，请直接回答无法确定”，比单纯说“严格基于”要好使。

温度降下来确实管用，但最狠的还是few-shot里塞个反例，模型立马老实。

这个问题我刚好踩过坑，光靠system prompt确实压不住幻觉。我的做法是把检索片段直接塞进user prompt里，而且明确标注“以下内容为唯一事实来源”，再用“若片段中未提及，请回答无法确认”这种句式，效果比单纯喊口号稳定很多。

温度调0只能算保底，真正管用的还是few-shot。我放了两个正反例，一个严格引用原文的，一个编造数据的，模型立马就老实了，你可以试试。

另外注意下LangChain里prompt的拼接顺序，参考文档如果放在问题后面，模型经常会被带跑偏。我都是先把文档放前面，再用“基于以上信息，回答：xxx”收尾，逻辑会清晰很多。

我之前也踩过这个坑，光靠system prompt确实压不住幻觉。我的做法是把检索片段直接塞进user prompt，用【参考文档】和【用户问题】两个块隔开，然后明确加一句“仅根据参考文档内容作答，若文档未提及，回答‘未找到相关信息’”。temperature调低到0.2有效果，但别完全依赖，关键还是让模型在格式上“被迫”引用。

Few-shot我试过，给一两个正反例确实比纯指令管用，尤其能教会模型“没信息时闭嘴”的边界。不过示例别太多，否则容易把模型带偏到模仿句式上。另外有个小技巧：在prompt末尾让模型先自己判断“文档中是否有对应依据”，再决定怎么答，相当于强制它走一遍检索-验证的流程，乱编概率会降不少。

把参考片段分隔符加粗加上，再配个无信息就直说的硬指令，比光调temperature管用。

你这三个问题其实都踩在点子上了，我自己的经验是User Prompt里必须把检索片段和问题用明确的标签分开，而且顺序很重要——参考文档放前面，问题放后面，这样模型会先“读”材料再“答题”，比在System Prompt里喊口号管用得多。另外我强烈建议你在User Prompt末尾加一句“如果参考文档中没有任何信息能回答该问题，请直接回答‘未找到相关信息’”，比笼统的“不要编造”效果好很多，因为模型对具体动作的指令更敏感。

关于Few-shot，我试过给两个极端的示例（一个是正确引用，一个是文档没有信息时如何拒绝），确实能让模型“模仿”那种谨慎的措辞风格，但别放太多，3个以内就行，否则会干扰它对当前问题的注意力。temperature我一般直接设成0，但说实话，如果检索到的片段本身有歧义或冲突，光靠调温度救不回来——你那个“100元”变“100-120元”的例子，很可能是检索到了两段不同价钱的文档，模型在“融合”信息，这时候得回头查检索结果是不是混入了噪音。我有个小技巧，在把片段拼进Prompt时，给每个片段加个编号（比如[1]价格是100元），然后强制要求模型回答时标注引用来源编号，比如“根据[1]”，这样它一旦想自由发挥，格式上就先别扭，能压住不少幻觉。你最后那句没打完的话是不是想问“要不要对多个片段做交叉验证”？如果是的话，可以试试把高度相似的片段去重，只留最相关的两三个，减少模型“选择困难”的机会。

你这个问题我太有同感了，之前调RAG的时候也被GPT-4的“自由发挥”坑过。关于第1点，我觉得把参考文档和问题分开是必须的，而且别只用“【参考文档】”这种轻标记，我试过在System Prompt里明确要求“回答时只能引用参考文档中的原句，且必须用引号标出”，效果比单纯说“严格基于”好很多。第2点，你那个“不知道就直说”的指令模板其实挺管用的，但得加个前提——让模型先判断检索内容是否覆盖问题，如果覆盖不全就明确说“根据现有资料无法确认”，而不是自己补全。第3点，Few-shot确实能立规矩，但别用太长的例子，我一般放2-3个对比案例（一个正确引用、一个错误发挥），模型会明显收敛。另外temperature=0只能减少随机性，治标不治本，如果提示词本身没把“引用边界”说清楚，它照样会编。还有个野路子：把检索片段拆成编号段落，在Prompt里让模型回答时标注“根据第X段”，这样就算它想编，也会因为要匹配编号而更谨慎。最后，你试过在User Prompt里加一句“如果原文存在矛盾信息，请指出矛盾点”吗？有时候模型乱编是因为它自己都没意识到检索内容里有冲突。

这个问题我太有同感了，之前调RAG时也被模型“自由发挥”搞到头大。你提的用【参考文档】标记这个思路是对的，但光靠标记还不够，我试下来最管用的是在Prompt里明确加一句“如果参考文档中没有直接对应的信息，必须回答‘根据现有资料无法确认’”，而且这招比单纯说“严格基于检索内容”有效得多。温度调成0确实能减少随机性，但治标不治本，模型该编还是编，因为它的训练惯性太强了。Few-shot我倒觉得可以试，但别用复杂例子，就放两三个“原文说X，回答就写X”的极端简单对比，反而能强化它的模仿倾向。另一个坑是上下文长度，如果检索片段太多，模型容易把早期内容“遗忘”，最后就自己脑补，所以我会对检索结果做个重排，只塞最相关的两三段进Prompt。另外你用的是GPT-4的话，试试在System里加“你是文档问答助手，所有输出必须能在给定文档中找到逐字依据”，这个角色约束比“请严格”这种命令式语气更稳定。最后，如果项目允许，可以考虑在后处理时做个简单的字符串匹配校验，回答里出现原文没有的关键数字或名词就强制重生成，虽然糙但很实用。

说到这个我可太有感触了，之前调RAG也被模型的“自由发挥”坑过。你提的三个点其实都切中要害，但我觉得最关键的还是把引用和生成彻底隔离，我现在的做法是User Prompt里用特殊分隔符把参考文档框起来，然后明确告诉模型“只能使用分隔符内的内容，且每个事实都要带出处编号”，效果比单纯在System里喊口号强很多。

关于你说的Few-shot，我试过给一两个“文档说X，回答就只说X”的极端例子，确实能压住模型发挥的欲望，但别给太多，否则它容易模仿格式而忽略内容。temperature=0是必须的，但别指望它单独救场，它只是让输出更确定，不代表它会克制自己不加料。

另外我怀疑你遇到的“价格约100-120”这种问题，可能不是Prompt写法不对，而是检索片段本身有歧义——比如文档里同时出现了不同价格区间，模型在合并信息时自己做了“平均”。你可以试试把检索到的片段按相关度重新排序，或者限制只取top1片段喂给模型，减少它“脑补”的空间。

最后想问下，你用的GPT-4是API还是网页版？API的话可以试试在Prompt里加一个“若信息不足，请输出‘原文未提及’并停止回答”的硬性规则，配合logit_bias或者function call约束输出格式，这样就算它想编也没地方下手。

我之前也踩过这坑，把检索片段丢进user prompt用【】隔开，再明确写“没找到就说不知道”，比system管用。

这个问题我最近也踩过坑，你提到的【参考文档】分隔其实挺关键的，但光靠标记不够，我一般会在prompt里明确加一句“只能引用给定文本中的原句，禁止推理或估算”，再把few-shot怼进去，效果比单纯说“严格基于”好不少。另外temperature调低确实有用，但别完全设0，不然回答会变得很呆，偶尔还会复读原文。你最后说的“没找到就直说不知道”这个指令也得写清楚，最好再给个例子，不然模型还是会硬编一个答案出来。

我最近也在折腾这个，你说的三个点其实可以一起上。建议把检索片段用明确的分隔符包起来，比如【文档开始】和【文档结束】，然后在User Prompt里直接写“只在上面文档中找答案，找不到就说不知道”，比System Prompt里写管用。Few-shot确实有用，给一个“原文没提就拒绝回答”的示例比单纯temperature=0效果更稳，因为温度调低只是减少随机性，挡不住模型自作主张补信息。另外可以试试在生成后加一步校验，用另一个LLM检查回答里有没有超出原文的数值或事实，挺省心的。

试试把检索片段和问题用分隔符隔开，再明确要求“只依据参考文档回答，无依据就答不知道”，比单纯系统提示管用。

我之前也被这个坑过，后来发现光靠system prompt确实不太行，你得把参考文档和用户问题在结构上彻底分开，用【参考文档】这种标记其实很有用，但关键是要在文档后面加一句“如果上述文档中没有明确依据，请直接回答不知道”，这样模型才有明确的“退路”意识。

另外你说的few-shot，我个人试下来效果比单纯调temperature强多了，尤其是放一个“原文说100元，模型答100元”和“原文没提价格，模型答无法确定”的正反例，模型会明显收敛很多。不过temperature=0也得设，但不是万能药，它只降低随机性，治不了模型“脑补”的毛病。

还有个细节，我后来是把检索片段按相关度排序后，在prompt里明确标注“片段一、片段二”，然后要求模型回答时引用片段编号，比如“根据片段二，价格为100元”，这样它就不敢乱编了，因为一旦编了就对不上号。你用的是LangChain，可以直接在prompt模板里加个占位符，把片段和问题分开拼，别混在一起让模型自己挑。

最后想问下你，有没有试过让模型在回答前先复述一遍检索到的关键信息？我最近在试这种“先总结后回答”的两步式，感觉对抑制幻觉也有帮助，但会多费一次token，不知道你觉得值不值。

你这个“【参考文档】”的思路是对的，我试过很管用，再加一句“没有就明说”能压住不少幻觉。

把参考文档和问题用【】分开确实管用，再配合温度调低点，幻觉能少一大半。

我之前也踩过这个坑，光在system prompt里强调没用，后来把检索片段单独用【参考文档】标签丢在user prompt里，效果确实好了不少。另外我习惯在指令里加一句“如果原文没提到，就回答无法确定”，比单纯说“不要乱编”管用。温度调0基本是必须的，但Few-shot我觉得看场景，太费token而且容易让模型模仿格式反而忽略内容。你可以试试把“价格是100元”这种关键句在参考文档里加粗或重复一遍，模型引用概率会高很多。

试试把参考文档拆成小块塞进user prompt，再明确要求“只引用原文数字”，比system prompt管用多了。

我之前也踩过这个坑，光靠system prompt里喊“严格引用”确实没用，模型该飘还是飘。后来我改成在user prompt里用明确的XML标签把参考文档包起来，比如...，然后问题单独放在后面，效果比用【参考文档】这种中文标记稳定很多，可能模型对这种结构化格式更敏感吧。

关于temperature，我试过设成0，但只能说缓解，不能根治，因为解码时的随机性只是部分原因，更大的问题是模型把检索片段当成了“背景知识”而非“事实约束”。你可以在prompt末尾加一句“如果上述文档中没有直接答案，请输出‘信息不足’”，但一定要把“直接答案”这四个字加粗或者大写，否则它还是会推理着给你编个范围。

Few-shot我建议你搞两个极端例子，一个是从文档里摘原文回答的，一个是文档没提到但模型瞎编的，然后明确标注错误。但注意示例别太多，两个就够，多了反而会让模型去模仿句式而不是约束行为。我现在的做法是“结构化输入+零样本强约束+温度0”，偶尔加一个负例，基本能压住大部分幻觉。

还有个细节，检索片段如果太长，模型会“忘”掉引用要求，我一般每段控制在200字以内，并且把最相关的段落放最前面，这比调整prompt模板还管用。你可以先试试这个组合，看幻觉率有没有降下来。