RAG里Prompt怎么写才能让大模型老实引用原文，不乱编？

这个问题我也折腾过一阵子，你说的几个方向我都试过，分享下我的经验。用【参考文档】标记确实有效，但关键是要在prompt里明确说“只从【参考文档】中提取信息，禁止使用外部知识”，我还会加一句“如果参考文档没有明确说明，请直接输出‘未找到相关信息’”，这样能减少自由发挥。temperature调成0是必须的，但光靠这个不够，我后来发现加一个输出格式约束会更稳，比如让模型先逐条引用原文再回答，比如“原文说：‘价格是100元’，因此答案是100元”。Few-shot示例我试过，但效果不稳定，有时候反而会让模型模仿示例的句式去编造，不如直接给一个明确的否定指令。另外我还注意到，有时候模型乱编是因为检索到的片段本身有歧义，比如同一段里提到了多个价格，这时候只靠prompt解决不了，得优化检索逻辑，比如加个reranker把最相关的片段排前面。总的来说，你可以在user prompt里把参考文档和问题用分隔符隔开，然后加上“严格引用”和“未知就承认”的指令，配合temperature=0，应该能改善不少，但完全杜绝编造还得靠数据质量。

temperature调低确实有用，再配合few-shot给个对比示例，效果会稳很多。

这个问题我最近也踩过坑，跟你分享下实测经验。1. 强烈建议把参考文档和问题彻底分开，我用的是「【参考文档】...【用户问题】...」这种显式分隔，效果比混在一起好很多，模型会更倾向于从标记区域里找原文。2. 指令模板里我试过加一句「如果参考文档里没有明确数据，回答必须说‘未找到相关信息’」，再加上「禁止使用‘约’‘大概’‘可能’这类模糊词汇」，能明显减少自由发挥。3. Few-shot示例确实有用，但别放太长，我放了两组对比示例：一组是正确引用原文的回答，一组是模型乱编后被纠正的案例，模型学得很快。不过temperature=0是基础操作，不设这个其他技巧基本白搭。另外提醒一下，你检查过LangChain的document prompt模板吗？有时候是底层拼接方式的问题，比如默认会把多个文档用换行连起来，模型容易混淆边界。我现在是把每个片段单独用<doc>标签包裹，再加序号，效果稳定多了。

我之前也踩过这个坑，后来发现把“【参考文档】”和问题用明确的标记区分开确实有用，比如在prompt里写“请只根据上文【参考文档】中的内容回答”。temperature调成0是必须的，但光靠这个不够，我还会在system prompt里加一句“如果原文没有明确数据，不要做任何推测”。Few-shot效果看场景，如果你给的示例和当前问题结构很接近，确实能压住幻觉，但别指望一劳永逸。

这个问题我最近也折腾了好久，你的感受我太懂了。关于第一点，把检索内容和问题用明确标记分开确实有效，我试过用【文档开始】和【文档结束】这样的结构，比单纯写“参考文档”要清晰。第二点那个“不知道”指令一定要加，我还会在后面补一句“如果文档信息有矛盾，请指出矛盾点并说明依据不足”，这样能减少模型硬凑答案。第三点few-shot我试过，但感觉对GPT-4作用有限，它太容易把示例里的模式泛化到无关地方了，反而temperature=0更稳。不过我最近发现一个坑：有时候模型乱编不是prompt的问题，而是检索到的片段本身就有歧义，比如同一个实体在不同段落里数据冲突，模型会自己“调和”出一个中间值。建议你检查一下检索回来的结果里有没有这种隐含矛盾。另外我还在尝试一种写法，就是在user prompt里按“问题：xxx 参考信息：xxx 要求：仅基于参考信息回答，禁止推断”这样的顺序排列，感觉比全塞在system prompt里控制力更强。你可以试试把temperature降到0.1左右，保留一点点随机性但又不至于放飞。

试过把参考文档放前面加个分隔符，再写“请严格引用原文”，效果比放在system prompt里稳很多。

温度调低确实立竿见影，但我觉得更关键的是在user prompt里把检索内容和问题用分隔符隔开，比如“###参考文档###”和“###问题###”，模型更容易聚焦。另外你提到的few-shot可以试试，我一般会在system里加一句“如果原文没明确说，就回复‘文档未提供相关信息’”，配合几个反面例子效果会稳很多。

我最近也在折腾类似的问题，实测把检索片段用【参考文档】单独拎出来放User Prompt里确实比混着写效果稳，模型更容易意识到该从哪提取信息。温度调成0很重要，但光靠这个不够，我还会在Prompt末尾加一句“如果未找到对应内容，直接回复‘无法从参考中找到答案’”，基本能杜绝编造。Few-shot我试过，得选那种严格引用原文的正反例，否则模型反而容易模仿错误格式，不如直接给明确指令来得省心。

建议把参考文档用【原文】标出来，再明确加一句“未提及的内容严禁补充”，比单纯调温度靠谱。

你这几个点都挺实在的，我个人实测下来，把检索片段用【参考文档】单独拎出来放user prompt里确实比混在system prompt里管用，模型更容易锁定来源。temperature设到0.1以下基本能遏制瞎编，但完全0的话回答会太死板。Few-shot可以加一两个正反例（比如一个忠实引用的、一个乱编后被纠正的），效果比单纯写指令强不少，不过注意示例别太长免得占token。另外可以试试在prompt末尾加一句“如果原文没有该信息，请直接输出‘未找到相关依据’”，这个句式对gpt-4挺灵。

温度调低确实有用，但治标不治本，我试过temperature=0它偶尔还是会脑补。建议你在User Prompt里把参考文档用【引用开始】和【引用结束】包起来，后面紧跟一句“如果上述引用中没有明确信息，请回答‘未找到相关依据’”，效果比单纯写system prompt稳很多。另外few-shot可以加两三个“原文说A→模型输出A”的例子，但别太多，不然上下文太长反而干扰。

我最近也在折腾这个，试下来把检索片段用【参考文档】框起来确实比混在prompt里效果好，模型会更倾向于盯着那段文字看。温度设成0是必须的，但光靠这个不够，我还会在user prompt末尾加一句“如果参考文档里没有确切答案，直接说不知道”，配合few-shot里给一两个错误回答的反例，乱编的情况少了很多。不过有时候模型还是会脑补细节，像你那种价格范围的问题，我后来会额外强调“只引用原文中出现的数字，不允许推断或近似”，你可以试试。

我最近也踩过这个坑，试下来觉得把参考文档用【引用】或【文档】单独标出来，跟用户问题分开写，效果确实好不少。另外temperature调低到0.1以下比直接设0更稳妥，模型不会完全丧失多样性但编造倾向明显下降。few-shot可以加一两个反例，比如“如果原文没提价格区间，就不要补充”，比单纯说“严格引用”管用。你试试把检索片段放在system prompt里，问题放user prompt，中间用空行隔开，我这么改完幻觉率降了大概30%。

你这情况我太熟了，temperature=0确实能压住一部分幻觉，但碰上模型自己“脑补”细节的时候还是不够稳。我自己的经验是，把检索片段用类似【文档开始/结束】的清晰标记包裹起来，同时在User Prompt里加一句“如果你在参考文档中找不到对应信息，请回答‘无法从资料中确认’”，效果比单纯在System Prompt里吼要靠谱不少。另外Few-shot真的挺管用，尤其针对你这种“价格区间”的案例，可以给一个正面示例：文档说“100元”，模型回答“100元”；再给一个反例：文档说“100元”，模型回答“100-120元”，然后强调这是错误行为——这样模型能更快理解边界。不过我也发现一个问题：有时候模型为了“老实引用”，会把整段原文复制过来，反而显得啰嗦。你试过在指令里加“用你自己的话但严格保留数字和事实”这种折中要求吗？

你遇到的这个问题太真实了，我试过把temperature降到0.1，结果模型还是会在数字上“润色”两句。后来发现把参考文档用【原文】标签单独放在User Prompt开头，再明确写“请逐字引用”能好不少。另外加两个Few-shot示例确实管用，比如给一个“原文说A→模型答A”的正例和一个“原文说B→模型编成C”的反例。不过最关键的还是得在System Prompt里加一句“如果原文没有提及，回答‘未找到相关信息’”，不然它总想强行补充。

我之前也踩过这个坑，后来发现system prompt写再多“严格引用”都没用，关键还是得把参考文档的结构和问题边界在user prompt里彻底锁死。你现在用的【参考文档】标记思路是对的，但建议再进一步，把每个片段前面加上编号和来源标签，比如“文档1第2段”，然后明确告诉模型“回答时只能引用编号段落里的原话，禁止自行推算”。至于温度，单纯设0只能减少随机性，治标不治本，因为GPT-4在长上下文里还是会下意识做语义补全，尤其是当检索片段里同时出现“100元”和“120元”这种近义词时。我试过最有效的办法是加一个硬性输出约束，比如“如果参考内容里没有直接答案，必须输出‘根据现有资料无法确认’，不要做任何推断”。Few-shot确实有用，但别给太多示例，两三个对比强烈的就够，重点展示“原文怎么说就怎么答”和“原文没有就拒绝回答”这两个极端案例。还有个小技巧，把检索片段里可能干扰模型的数字、范围词先高亮或加粗，配合prompt里强调“只认加粗内容”，体感上能压住不少幻觉。另外，你用的是GPT-4，可以试试在user prompt末尾加一句“请先逐字摘录相关原句，再基于摘录内容作答”，这招对强制引用特别管用，代价是多消耗一点token，但稳定性提升明显。不过说实话，RAG这玩意没有银弹，不同文档分布得单独调，我现在一般会先跑20条测试集看错误模式，再针对性改prompt，比盲目堆指令靠谱多了。

我之前也踩过这个坑，现在基本是user prompt里用【参考文档】把片段和问题隔开，然后明确加一句“只能依据文档内容作答，文档没有的信息直接说不知道”。温度调低确实有用，但光靠这个不行，few-shot放一两个“文档没提就拒绝”的例子效果最明显。另外可以试试让模型先复述一遍文档关键句再回答，等于强制它走一遍提取流程，编造率会低很多。

温度调低确实立竿见影，但治标不治本，我一般还会把检索片段拆成带编号的小段，让模型必须引用编号。

试试让模型先复述一遍原文再回答，不匹配就重来，比单纯加few-shot稳得多。

你这问题我太有同感了，之前调RAG的时候也被“自由发挥”坑过。我后来发现光在System Prompt里喊口号没用，关键是把检索内容当成“证据”而不是“背景知识”喂进去——用【参考文档】这种明确分隔符确实有效，但更狠的一招是让模型先复述或标注原文里的关键句，再基于这个复述去做推理，等于逼它先“抄作业”再答题。
至于Few-shot，我觉得比单纯调temperature=0管用，因为温度设零只能减少随机性，治不了模型“脑补”的毛病。你给两个对比示例，一个是原文有明确答案时怎么引用，一个是原文没提时怎么拒绝回答，它很快就学乖了。还有个小技巧是User Prompt里加一句“如果参考文档中的数字、日期、价格等具体信息与你的常识冲突，一律以文档为准”，这招对数值类幻觉特别有效。
另外我怀疑你是不是把检索片段截得太长了？有时候模型会在长上下文里“挑食”，只看到中间一段就开始发挥。可以试试把相关片段按相关度排序后，只保留最相关的两三段，或者干脆用Map-Reduce的方式让每段单独回答问题再汇总，能减少不少噪音。最后想问你用的是LangChain的哪种Retriever？如果是向量检索，相似度阈值设低点可能也会让一些不相关的片段混进来，检查下召回质量说不定比调Prompt更治本。

我之前也踩过这个坑，光靠system prompt确实压不住幻觉。后来我把检索片段用明确的XML标签包起来，然后在user prompt里加了一句“只允许引用标签内的原文字句，禁止推理或估算”，效果比单纯说“严格基于”好很多。另外temperature设0.2左右比直接归零更稳，太低反而容易让输出变得生硬。Few-shot可以加，但别给太长的示例，模型容易模仿格式忽略内容。