RAG系统里prompt怎么写才能让LLM更准确引用原文？

我之前也踩过这个坑，后来发现光靠system prompt压不够，得把引用机制写进user prompt里。我的做法是明确告诉模型“如果原文里有对应内容，就逐字摘录并标注段落编号”，这样它至少知道要“找”而不是“想”。另外你说的长原文分段问题，我试下来整段塞进去效果反而差，模型容易迷失重点，不如按语义切成小块，每块前面加个简短标题，再让模型先定位再引用。还有个偏方，就是在prompt里加一句“如果原文没有直接答案，请明确说无法回答”，这能逼它少编造。不过说实话，prompt只是软约束，我后来加了道校验逻辑——让模型输出引用的原文片段，然后用字符串匹配去核对，不匹配就重新生成，虽然麻烦点但稳很多。你用的embedding是哪个模型？不同模型的检索粒度对prompt的敏感度差别挺大的。

试试在prompt里让模型先逐字摘录原文，再基于摘录作答，我试过这样能压住瞎编的毛病。长文本建议分段塞，整段塞容易稀释注意力。

试试在prompt里加“只能引用，禁止概括”，然后把原文拆成小块带编号喂进去，效果立竿见影。

我之前也踩过这坑，把检索片段按句子断行塞进去，模型就老实多了。

我最近也踩过这个坑，后来发现光靠system prompt压不住，得把原文拆成带编号的片段，再让模型必须用【片段X】的形式引用，不然就不给过。另外你试过在prompt里加一句“如果没有原文支撑就回答不知道”吗？对减少幻觉挺管用的。长文本的话建议分段塞，整段扔进去太容易让模型只盯着开头结尾看了。

这问题我太有共鸣了，之前调RAG的时候也被这个“自由发挥”坑惨了。后来我发现光靠system prompt施压没用，得从任务设计上“逼”它引用。我的做法是把检索到的原文按段落编号，然后在prompt里明确要求它回答时必须以“根据原文第X段”开头，并且如果原文没有直接答案就明确说“未找到相关信息”，而不是让它自己推断。另外，你提到原文很长的情况，我试过整段塞进去，但token一多模型反而更容易抓不住重点，现在我会先用一个小的LLM把检索片段做个压缩，只保留跟问题最相关的两三句，再拼进prompt，效果稳定很多。还有个土办法是few-shot，给一两个“正确引用”的示例，比单纯说“请引用”管用得多，模型看一次就懂了。不过说实话，这玩意儿还是要看底层模型本身，GPT-4比3.5老实多了，如果条件允许换个更强的模型可能比调prompt更省心。你用的哪个模型？有没有试过调低temperature？

把原文用引号包起来再加一句“只准引用，禁止转述”会稳很多，长文就按段落拆开塞，效果比整段好。

试试在prompt里加一句“只输出原文中出现的词句”，效果比“引用”管用，另外长文分段放确实更稳。

我之前也踩过这个坑，后来发现光靠system prompt压不太住，关键得把引用的“证据”结构化成模型没法绕开的东西。比如我会在给LLM的上下文里，把每段原文前加个编号标签，然后强制要求回答时用[1][2]这种形式标注来源，这样模型就算想自由发挥也得先“锚定”到具体片段上，编造的成本就高了。另外你提到的原文长的问题，我建议别整段塞，最好按语义切块后只保留跟query最相关的top-k段，每段控制在200-300字，不然模型注意力一分散，反而更容易自己“脑补”。还有个土办法挺管用：在prompt里加一句“如果原文没有直接答案，请明确说‘未找到相关信息’”，同时把temperature调到0.1以下，能明显减少幻觉。不过说实话，prompt只是兜底，最终我还是上了引用校验逻辑，用LLM自己输出的引用索引去回查原文，对不上的就强制改成“基于原文概述”，这样准确率才稳定下来。

试试在prompt里强调“只能输出原文中的原句”，再把检索片段按段落编号塞进去，让模型直接引用编号内容，效果会稳很多。

我之前也踩过这坑，后来发现光在system prompt里喊口号没用，得把“引用”变成硬性格式要求。比如让模型输出时带引文编号，像“根据[1]的原文：...”，然后明确告诉它没找到对应原文就说“知识库未覆盖”，不许自己编。分段塞prompt确实比整段好，但记得给每个片段加个来源标签，不然模型容易搞混哪段是哪段。另外试试few-shot，给一两个“原文→正确输出”的例子，比纯文字指令管用得多。

你这问题我太有共鸣了，之前调RAG也卡在这。我的经验是光靠system prompt里喊“严格引用”没用，模型一旦觉得上下文够“懂”了就会放飞自我。你可以试试在prompt里明确给个格式模板，比如要求“先原样输出检索到的相关句子，再另起一段说自己的理解”，让引用和总结物理上分开，模型就不太会混着编了。另外，关于原文长的问题，我建议别整段塞，检索回来的内容先按句子或小段落切一下，然后只把跟问题语义最相关的几段拼进prompt，这样既省token又减少干扰。还有个偏方，就是让LLM在回答开头先复述一遍问题里的关键实体和限定词，比如“针对张三在2023年的政策”，这能帮它锚定范围，不太会跑偏。你用的是OpenAI的话，其实可以把temperature调低到0.1左右，配合上面那招，效果会比单纯改prompt稳定很多。最后想问下，你检索的top-k是不是设得太高了？有时候塞太多无关片段反而容易诱导模型去“补充”细节。

我最近也踩过这个坑，试了一圈下来感觉光靠system prompt压效果真不行，特别是模型觉得原文啰嗦的时候，它自己“总结”的欲望根本压不住。后来我改成在user prompt里把检索片段用明确的标记包起来，比如开头写“以下是参考资料，回答时只能使用其中的信息”，然后每个片段前面加上“片段1：”这种编号，效果好了不少。另外我发现一个关键点，就是得在prompt里强调“如果资料里没有相关信息，就直接说不知道”，给模型一个合法的“拒绝”出口，它反而更老实。关于长原文，我建议别整段塞，我之前试过把三千字的文档直接丢进去，模型经常抓不住重点，引用的时候还会张冠李戴；分段塞进去之后，再让模型先判断哪段跟问题相关、再基于那段回答，准确率明显上来了。还有个土办法挺管用——把检索到的原文里跟问题最相关的句子直接复制到prompt末尾，然后要求“必须包含这句话或它的同义改写”，相当于给模型画了个必须落脚的圈。你用的LangChain的话，可以试试在RetrievalQA的chain_type里用stuff模式但配合自定义的prompt模板，把“引用原文”的要求从system挪到user里，权重会高很多。对了，你embedding模型换过没？有时候检索回来的片段本身排序不对，模型被不相关的上下文带偏了，也会导致它自由发挥。

prompt里光喊“严格引用”确实没用，模型会觉得你在说废话。我试过把原文拆成带编号的段落，然后让它在回答里强制标出“根据[3]”，效果比口头强调好很多，因为模型知道你要的是“指路”而不是“复述”。另外你那个“张三2023年政策”的问题，本质是检索到的片段里没有明确的时间锚点，模型就自己脑补了，所以你在塞context的时候，最好在每段前面加一句“这段来自XX文档，时间是XXXX”，帮它把引用边界钉死。至于长文本，别整段扔进去，就按句子或小段落切，然后只保留和query最相关的top3，否则模型注意力一散，又开始自由发挥。还有个土办法，就是在user prompt末尾加一句“如果你找不到原文支持，就回答‘资料中未提及’”，这比让它引用更管用，因为给了它一个合法的“拒绝”出口。最后你可以试试few-shot，给一个“原文说X，所以回答Y”的示例，模型会模仿这个结构，比抽象指令稳定多了。

试试在prompt里加一句“只能使用引号内的原文作答”，然后把检索片段按段落用引号包起来，效果会稳很多。

试试在prompt里加“禁止解释，逐字输出原文片段”，长文本分段放，每段前标注对应原文编号，效果会稳很多。

我之前也踩过这个坑，后来发现光靠system prompt施压其实挺虚的，模型该自由发挥还是自由发挥。我现在的做法是把“引用原文”变成一个显式的输出格式要求，比如让它在回答里直接标出[引用片段1]这种编号，然后在prompt里写死“每个结论后面必须跟对应的引用编号，没有编号就不要下结论”，效果比单纯说“请严格引用”稳很多。

关于长原文的问题，我个人不建议整段硬塞，除非你的context窗口特别大。我试过把检索到的内容按语义切成几个小块，每块前面加个简短标题，比如“关于张三2023年政策的原文段落A”，然后让模型先判断跟问题最相关的是哪块，再基于那块回答，这样它“跑偏”的概率会低不少。

另外有个小技巧，就是故意在prompt里加一句“如果原文中没有直接提到，就回答‘原文未提及’”，这能逼着模型去比对而不是脑补。不过说实话，这问题本质还是检索质量，如果top-k里根本没有完全对口的句子，prompt写得再死也没用，建议你检查下embedding的chunk大小是不是切得太粗了。

试试在prompt里加“若原文无相关信息，请明确说没有”，再配合分段塞入并标注来源，会稳很多。

我之前也踩过这个坑，后来发现光靠system prompt不够，得在user prompt里把原文用引号包起来，然后明确要求“只基于引号内内容回答，禁止推理”。你可以试试把检索片段拆成小块，每块前面加个编号，让模型“引用编号对应原文”，这样它就没法自由发挥了。另外，如果原文太长，建议分段塞，但每段后面加一句“不要补充这段以外的事实”，亲测能减少不少幻觉。

我最近也在折腾这个，发现光是堆prompt不太够，得把检索到的片段做个“证据标记”，比如让LLM输出时带上[1][2]这种编号，引用哪段就标哪个。另外原文长的话我建议切成几个小块分别放，然后明确告诉它“只基于上述材料回答，没提到的就说不知道”，这样比整段塞进去稳很多。

我之前也踩过这个坑，后来发现光靠system prompt压不住，得在user prompt里把原文用明确的标记包起来，比如“以下是参考材料：... 请只基于这些内容回答”，效果会稳很多。至于长文本，我建议分段塞，但每段前面加个编号，让模型回答时能标出引用来源，这样就算它想编也会下意识收敛一点。另外温度调低到0.1以下也挺管用，你可以试试。