RAG里Prompt怎么写才能让大模型老实引用原文，不乱编？

你这问题太典型了，我上周刚被同样的事坑过。分点回答：第一，把检索片段和问题分开写几乎是必须的，我用【上下文】和【用户问题】两个标签隔开，效果比混在一起强很多，模型对“哪个是材料、哪个是要求”的边界感会清晰不少。第二，光说“严格基于”没用，你得给它一个“拒绝路径”，比如明确写“若上下文无直接依据，请回答‘根据现有资料无法确认’”，这比单纯强调不编造管用，因为它给了模型一个合法的“下台阶”。第三，Few-shot确实能压住自由发挥，但别搞太复杂，两个对比示例就够——一个正确引用原文的例子，一个瞎编然后被纠正的例子，模型会学得很快。至于temperature=0，我试过，它只能减少随机性，不能消除模型“脑补”的倾向，尤其是当检索片段本身有点模糊的时候，它还是会默认补全最合理的信息。还有个我踩过的坑：你最好在Prompt里加一句“引用时保留原文数字和单位，即使你觉得它们不合理”，否则模型老爱自己“修正”成它认为的常识值。最后，如果条件允许，试试用GPT-4的function calling把“引用原文”变成强制输出字段，比纯文本约束稳得多。你那个价格从100变100-120的例子，八成是模型觉得100太绝对，自己加了个容错区间，这种得靠指令里禁止“推测性表述”来治。

说实话你这个问题我太有共鸣了，之前调RAG的时候也被GPT-4的“自由发挥”坑过。我觉得你提的这三个点其实可以一起上，但核心不在于某个单一技巧，而是让模型明确感知到“检索内容是唯一事实源”。我的做法是把参考文档放在User Prompt里，用【开始参考文档】和【结束参考文档】这种显眼标记包起来，后面紧跟一句“只能引用上述文档中的原话或核心数据，禁止推断或补充”，这比放System Prompt里管用得多。

关于Few-shot，我自己试下来是有效果的，但别搞太复杂的例子，两个就够——一个展示“原文有信息就拽原句”，另一个展示“原文没信息就直接说不知道”。不过更关键的是把temperature调到0.2以下，同时把max_tokens限制得紧一点，这样模型没空间去“编”额外内容，回答会干巴巴但至少准确。

另外有个小坑：如果你用LangChain的Stuff类型，它会把多段文档拼在一起，模型容易混淆来源。我后来改成Map-Rerank或者手动把每段文档编号，然后在Prompt里要求“引用时标注[1][2]编号”，这样你还能事后验证它有没有乱用。最后，如果检索片段本身质量差，比如一段话里包含矛盾信息，那模型再乖也白搭，所以建议你先看看检索top-k返回的片段是不是真的跟问题高度相关。

你这个问题我太有同感了，之前用LangChain搭RAG也踩过同样的坑。关于第一点，我试过把参考文档跟问题放在同一个User Prompt里，但用明显的分隔符和标签区分，效果确实比全塞System Prompt里好，模型能更清楚哪些是证据、哪些是待回答的问题。不过我觉得关键不是标签本身，而是你要在指令里明确说“回答时只能引用【参考文档】中的原句，不能自行推断或补充”，甚至要求它先复述一遍相关原文再给结论。第二点那个“不知道就直说”的模板非常有用，但光写这句还不够，我一般会再加一句“如果参考文档中信息模糊，请指出具体哪些地方不明确”，这样模型就不会硬编一个大概的数值。第三点Few-shot我试过，对格式约束挺有效，但对“不乱编”的改善有限，可能因为模型还是倾向于生成流畅的句子；temperature=0是必须的，但也不能完全杜绝幻觉，尤其是当检索片段本身有缺失或矛盾时。另外我还有个血泪经验：如果检索到的片段里没有明确答案，模型会下意识用常识补全，所以你可以尝试在检索后加一个过滤步骤，把相关性分数低的片段直接扔掉，宁可答不上来也别给错信息。你现在的切分方式是什么样的？固定长度还是按语义切？这个也会影响模型对引用的忠实度。

这个问题我最近也踩过类似的坑，尤其是GPT-4在长上下文里特别容易“脑补”。我的经验是，光靠system prompt真的不够，你得把检索片段和用户问题在user prompt里物理隔离开，比如用XML标签或者分界线框住，让模型明确知道“这段是证据，不是闲聊”。另外你提到的“直接说不知道”很有用，但最好写成“如果参考文档中未明确提及，请回答‘未找到相关信息’”，比单纯说“不知道”更稳，因为模型对否定指令的理解有时候很飘。

关于few-shot，我觉得比temperature=0管用，因为温度设太低会让模型在复杂推理时变得死板，反而更容易重复片段里的碎片信息。我试过给两个对比示例，一个正确引用原文，一个错误发挥然后纠正，效果比写十条规则都好。不过有个细节，示例里的格式要和你实际输入的格式完全一致，包括标签和分隔符，不然模型会学错重点。

还有个歪招，就是让模型在回答前先输出“我基于以下内容：...”，强制它复述一遍关键句，再给结论，这样能极大减少编造。当然这会增加token消耗，但RAG场景下值得一试。你现在的检索片段是直接拼接成一大段吗？如果是的话，建议按文档来源分段，每段前加编号，让模型能指认“根据第2段”，这样它就不敢乱跨段发挥了。

你这问题我太有感触了，我当时也是被“自由发挥”坑惨了。后来发现把检索片段用特殊标记单独扔在User Prompt里，跟问题用分隔符隔开，效果比只写System Prompt强很多。另外temperature=0确实有用，但别全指望它，我试过加两个few-shot例子，一个“有信息就引用”一个“没信息就说不知道”，模型明显老实多了。还有个细节，你可以在提示里加一句“回答中的每个数字和结论都必须能在参考文档里找到对应原句”，这招对我挺管用的。

说实话你这个问题我前段时间也踩过坑，prompt里加“严格引用”不如直接把检索片段的结构和问题彻底分开，比如用明确的XML标签包起来，再在指令里强调“只能引用标签内的原文，禁止推理价格区间”。
另外temperature=0确实能压住一部分发散，但治标不治本，我试过在user prompt里加一句“如果原文没提到，就回答‘未找到相关信息’”，比system prompt管用。
Few-shot我倒觉得不用太多，给一个“原文说X，回答X”的正例和一个“原文没提，回答不知道”的反例就够了，多了反而干扰。
对了，你用的是GPT-4的话，可以试试把检索片段按相关性排序后只留前三条，信息太多也容易诱导模型自己脑补。

温度调低确实有用，但治标不治本，你可以试试把参考片段分段塞进user prompt，效果比system里干巴巴一句强多了。

我之前也踩过这个坑，光改System Prompt真不如把检索片段和问题在User Prompt里物理隔开。我是用【参考文档】+【用户问题】两个大括号包裹，效果比单纯在System里喊口号稳定很多，尤其你模型上下文一长，指令容易被稀释掉。

关于你问的Few-shot，我试下来觉得很有用，但别整太多，两三个极端例子就够了。比如放一个“原文没写，模型说不知道”的正例，再放一个“原文写死价格，模型却猜范围”的反例，比在System里写十句“必须忠实”都管用。不过这个得结合你的实际场景调，不同领域敏感度不一样。

temperature=0我反而觉得不是关键，因为我试过即使设0，模型在长回答里该脑补还是脑补。更有效的其实是把检索片段切短一点，让模型没法跨段落“自由联想”，再配合一个硬性输出格式，比如“答案必须以‘根据参考文档’开头”，强制它锚定来源。

另外你提到“严格基于检索内容”，我建议换成更具体的指令，比如“如果参考文档中没有明确数字，请输出‘参考文档未提及’”，比抽象的命令可执行性强多了。最后想问下，你GPT-4是走API还是网页版？我怀疑两者对指令的遵循度也有区别，想确认下是不是我个例。

1. 2和3我都在用，但最关键的是把检索片段和问题分开写，而且明确告诉模型“只能引用【参考文档】里的原话，否则就回答不知道”。
2. temperature=0确实有效，但治标不治本，我试过加一个“引用格式”的few-shot，比如让模型输出“根据文档：xxx”，效果比单纯说“别乱编”强很多。
3. 另外你试试把system prompt改成“你是一个严格的信息提取器，不是生成器”，这种角色设定有时候比长指令管用。
4. 顺便问下，你检索回来的片段本身有做“相关性过滤”吗？有时候模型乱编是因为塞了太多不相关的上下文，反而干扰判断。

我之前也踩过这个坑，最关键的其实不是System Prompt，而是把检索片段的结构和边界彻底划清楚。你说的用【参考文档】标记是对的，但我还会在每一段前面加上“文档1：”这样的编号，然后明确要求模型在回答时标注引用来源，比如“根据文档3”，这样它就没法糊弄过去。另外，我试过在User Prompt里直接写“如果参考文档中没有明确信息，请回复‘信息不足’，不要推测”，这比只写在System里管用得多，因为越靠近输出层的指令越容易被遵循。关于Few-shot，我的经验是给一个“原文说100元，模型却说100-120”的反例，再加一个“模型老实回答100元并标注文档编号”的正例，比单纯给十个正常例子效果强很多。temperature=0确实能减少随机性，但治标不治本，模型还是会因为prompt里的隐性引导而发挥，所以我会把温度调低，同时把“禁止使用约、大概、可能”这类词直接写进指令里。还有个小技巧，就是让模型先复述一遍检索到的关键句子，再回答，相当于强制它过一遍原文，这招对付“自由发挥”特别有效。你现在的LangChain版本里如果支持RetrievalQA的chain_type换成stuff，把上下文塞满一点，也能减少模型自己脑补的空间。

你这三个问题其实都问到点子上了，我最近也在折腾类似的结构化引用，稍微分享点踩坑经验。第一点，把检索片段和问题用清晰的标记分开确实比全塞在system里强，我一般用【引用文档】和【用户问题】两个标签，然后明确说“只允许使用引用文档中的原词句，禁止推导或估算”，比单纯写“严格基于”效果好很多。第二点，那个“不知道”指令其实很关键，但我发现光写不够，最好在prompt里加一句“若信息缺失，必须输出‘根据现有资料无法确认’并终止回答”，这样能堵住模型硬编的毛病。第三点，temperature设0是必须的，但千万别只靠它，因为GPT-4在低温度下也偶尔会脑补，尤其当参考片段里有数字或时间时。另外我试过给两三个few-shot，一个正确引用原文的例子加一个错误编造的例子，对比着给，模型会更倾向模仿正确格式，但别给太多，占token还容易让模型过度模仿句式。最后我还有个疑问，你有没有试过把检索片段按相关度排序并编号，然后在prompt里要求回答时标注“根据第x段”？我试了能减少跳跃性引用，但有时模型会乱指编号，不知道你那边有没有这个现象。

我试过把参考文档用【】单独隔开，效果确实比混在一起好，你那个价格问题大概率是上下文没切开。

温度调低只能减少发散，不解决根本，few-shot最稳，给两个正反例它就老实了。

我之前也踩过这个坑，光靠system prompt根本压不住幻觉。后来是把参考文档放user prompt里用【引用开始】这种标记包起来，还强制要求回答里必须带编号对应原文，效果立刻好了不少。temperature我直接调0，但关键还是让模型在不确定时输出“未找到相关信息”而不是硬编。Few-shot我试过，有点用但成本高，不如先把检索片段截短，只留相关句子，反而更稳。

我之前也踩过这个坑，尤其是GPT-4在上下文够长的时候特别爱脑补。你提到的【参考文档】标记其实挺管用的，但关键不是光加个标签，而是要在提示词里明确告诉模型“引用必须用原文原句，连标点都不能改”，最好再规定输出格式，比如要求它用“根据文档原文：……”这种句式开头，这样能逼着模型去复制而不是改写。

关于temperature=0，我试过确实有改善，但别指望它完全根治，因为采样seed在API里没法固定，零温度下还是有随机性。Few-shot的话，如果你能准备两三个正反例，比如一个“文档没提但模型瞎猜”的反例，效果会比纯指令强很多，但注意示例别太复杂，否则模型会模仿你的示例结构而不是逻辑。

还有个我踩过的坑是System Prompt和User Prompt的分工，System里写“你是严谨的助手”这种人格设定基本没用，真正的约束得放在User里，紧贴在检索片段后面，比如“如果下面内容没有直接答案，你必须回答‘无相关信息’”。另外，你可以试试把每个片段前面加编号，然后要求回答时标注“根据片段3”，这样就算它想编，也得先找到对应编号，能明显减少幻觉。

对了，你用的LangChain的RetrievalQA链吧？那个默认的prompt模板其实挺弱的，我后来直接换成了自定义的PromptTemplate，把检索结果用XML标签包起来，再在最后加一句“请逐字引用，不要总结”，效果直接上了一个台阶。你要是还不行，可以试试把片段拆得更碎一点，每段只留一两句话，模型反而更老实。

把参考文档用【】隔开确实有用，我还会在每段后面加一句“若原文未提及则明确说不知道”。

few-shot比调temperature管用，给个“原文无此信息时回答未知”的正反例，模型基本就老实了。

我最近也踩过这个坑，光靠system prompt确实压不住幻觉。你提到的用【参考文档】分隔符我试过，比混在一起写效果好很多，模型能更清楚哪些是依据。另外我还会在user prompt末尾加一句“如果参考片段里没提，就回答‘未找到相关信息’”，比单纯说“不知道”管用。temperature调0是必须的，但别指望它解决所有问题，Few-shot我试过两三个例子，对约束格式有点用，可一旦换领域效果就衰减，建议先试分隔符+明确拒绝指令，成本最低。

你提到的这个问题我太有同感了，之前调RAG的时候也被GPT-4的“自由发挥”坑过。我试下来最管用的一个组合是：在User Prompt里用明确的【参考文档】标签把检索片段和问题隔开，然后加一句“只允许引用参考文档中的原句，如果文档没有直接答案，就回答‘未找到相关信息’”，比放在System Prompt里效果好很多，可能是因为模型对用户指令的注意力权重更高。Temperature=0确实能减少随机性，但治标不治本，它该编还是编，尤其是当检索片段本身比较模糊或者包含多个数字时。Few-shot我试过给一个正面例子和一个反面例子，比如“错误回答：价格约100-120元；正确回答：价格100元”，效果有提升，但代价是每次请求的token消耗会变大，如果对成本不敏感可以试试。还有一个细节是，你可以把检索到的片段按相关度排序，并在每个片段前面加上来源编号，然后要求模型在回答时标注“根据片段2”，这样它会更倾向于盯着原文说，而不是自己脑补。最后，如果你用的是GPT-4，建议把max_tokens设小一点，防止它为了凑字数而展开，亲测能减少不少幻觉。

我之前也踩过这个坑，光在system prompt里强调没用，得把检索片段和问题在user prompt里明确隔离开，比如用XML标签包起来，效果会稳很多。另外temperature=0确实能压住一部分自由发挥，但碰上模型“脑补”细节还是拦不住，这时候最好加一个“如果原文没提到，就回答‘未检索到相关信息’”的硬性兜底指令。Few-shot我试过，有用但别放太多，两三个例子就够了，太多反而会干扰模型对当前问题的注意力。还有个细节：你可以在生成前让模型先复述一遍参考文档里的关键句，再让它作答，这样能逼它盯着原文走。

这个问题我最近刚踩完坑，跟你讲，光靠System Prompt是真不行，模型优先级里用户指令永远大于系统指令。我现在的做法是把检索片段直接塞进User Prompt，用“以下是参考资料，若其中没有明确答案请回复‘资料不足’”这种硬约束，效果比在System里反复强调强多了。温度设成0确实能减少随机性，但治标不治本，模型该编还是编，尤其当检索片段里出现“约”“可能”这种模糊词时，它就会顺着语气发挥。Few-shot我试过，有用但成本高，而且你得保证示例的格式和真实场景完全一致，不然模型反而会模仿示例里的错误习惯。我目前觉得最稳的是在提示词末尾加一句“回答中出现的每个数字、结论都必须能在参考文档中找到对应原文，否则删掉该句”，虽然笨但很有效。另外你如果用的是GPT-4，可以试试把检索片段按相关度排序后只留前三条，信息太多反而容易诱导模型做“合理推断”。对了，你检查过chunk切分没？有时候原文本身被切断了，模型是“被迫”脑补的，这个比prompt问题更隐蔽。

我之前也踩过这个坑，光靠system prompt压不住GPT-4的自由发挥，后来是把检索片段和用户问题彻底分开，用类似【文档1】这种硬分隔符包起来，效果确实好很多。你提到的“约100-120元”这种问题，本质是模型在用自己的知识做补全，光说“严格基于”不够，得明确告诉它“每个数字、日期、名称都必须能在参考文档里找到对应原文”。我现在的做法是加一条硬性规则：“如果参考文档中找不到明确数值或事实，回答中必须写‘原文未提及’，禁止推断或估算”，比单纯说“不知道”更细，实测能拦住大部分胡编。另外temperature设0确实有用，但别指望它解决所有事，因为采样随机性只是部分原因，更关键的是prompt里要加“逐句对照”的指令，比如“回答中每个结论后面用括号标注来源文档编号”。Few-shot我不太推荐，除非你的领域非常固定，否则示例容易让模型模仿句式而不是约束逻辑，反而可能引入新的幻觉。我建议你先用5-6个不同类型的测试问题，把“引用+标注来源”写成强制格式，比如“根据文档2，价格为100元”，让模型形成输出习惯。最后想问你一下，你用的检索片段是单段还是多段拼接？多段拼接时如果加了明确的段落编号，模型通常会更老实，因为它在逻辑上要“交代出处”。