RAG里Prompt模板怎么设计才能让大模型老实引用原文？

把检索片段编号加进prompt，让模型按编号引用，能明显减少缝合，你可以试试。
不同模型确实吃不同措辞，开源模型更吃“如果没找到就回复不知道”这种硬约束。

我试过把检索片段编号后让模型按编号引用，配合“请引用编号对应的原文”这种指令，比单纯说“严格基于内容”管用不少。另外分隔符别用那种花哨的符号，直接上XML标签或Markdown引用块，模型更认这个。还有一点，不同模型确实吃不同套路，GPT-4对“如果原文没提就答不知道”执行力强，但开源模型可能得在后面补一句“不要推测”才行。你那模板确实太裸了，建议把每个chunk单独成段，再明确标注来源文档ID，能少很多缝合问题。

试试把检索片段分段编号，再让模型按编号引用，幻觉能少一截，顺便用分隔符隔开每个片段。

你这个模板确实是太素了，光靠一句“严格基于”对大模型来说约束力很弱，它分不清哪些是检索来的事实、哪些是它自己的联想。我试过把每个chunk前面加上[1][2]这种编号，然后prompt里明确写“回答时只允许引用编号片段中的原句，引用格式用（片段X）”，效果会好不少，至少缝合情况少多了。还有就是分隔符别用“context：”这种，换成那种不常见的符号比如###或者```，让模型能清晰感知到边界，不然它容易把上下文和问题混在一起。另外你提到“没有就直说不知道”，这个一定要写，而且最好加一句“如果片段之间有矛盾，请明确指出矛盾点”，这样能逼它去比较而不是自己脑补。关于模型差异，我感觉GPT-4对指令的跟随强很多，措辞随意点也行，但开源模型像Llama或Qwen，你得把要求拆成短句，甚至用“你必须”“禁止”这种强命令词，不然它真会自由发挥。我还有个疑问，你检索回来的chunk有没有做重排序？有时候不是prompt的问题，是相关片段排得太靠后，模型注意力不够就忽略了，你可以试试把最相关的三个片段固定在开头试试。

我之前也踩过这个坑，光靠一句“严格基于原文”根本压不住模型的发挥欲。后来我把模板改成了三段式：先明确角色和任务边界，再放带编号的检索片段，最后给一个“答案格式”示例，比如“根据片段2，答案是……”，效果一下子稳了很多。编号这个动作特别关键，它相当于给模型一个锚点，让它知道引用是能被检查的，它就不敢瞎编了。另外我强烈建议在prompt里加上“如果以上片段没有直接回答，请输出‘信息不足’”，这比让模型自己判断“不知道”要可靠得多，因为它会倾向于把“相关但不对题”的内容也当成答案。至于模型差异，我感觉GPT-4对这种结构化模板的服从性高一些，开源模型像Llama系反而需要更直白的指令，比如直接写“禁止总结，禁止推测”，甚至可以把示例里的“缝合”行为作为反面案例写进去。还有个小技巧，把检索片段之间的分隔符用特殊符号（比如三条横线）而不是换行，能减少模型把不同文档内容串起来的概率。你可以试试把context和question的顺序调换，让问题在前片段在后，有些模型对后置信息的遵从度更高，这个跟注意力机制有关。

给每个chunk加编号，让模型用编号引用，基本能治胡说，试试看。

我之前也踩过这个坑，后来把prompt改成了先给编号段落，再明确要求“只引用编号内容，禁止跨段推理”，效果稳定不少。另外你那个“没有就直说不知道”挺关键的，但最好再补一句“如果原文矛盾，列出所有相关段落”，这样能减少缝合。模型差异确实大，GPT-4吃这套，但开源模型经常忽略指令，我试过在开头就把引用格式示例写出来，比如“答案：引用[2]”，比单纯说“严格基于”有用。你可以试试把分隔符换成XML标签，有些模型对结构敏感。

我之前也踩过这个坑，后来把每个chunk前面加上编号，prompt里明确写“引用编号X的原文内容”，模型幻觉确实少了点。另外强制它“原文没有就答不知道”这招很管用，但得配上温度调低，不然还是容易飘。你那个模板太裸了，建议改成“你只能使用以下编号片段中的信息，禁止联想”，再在结尾加一句“回答完请标注引用的编号”。不过说实话，GPT-4跟开源模型差别挺大的，像Qwen这类得把“不要编造”说得更死板，甚至重复两遍才有效，你可以试试看。

换个思路，我先给检索片段加了个“证据”标签，每个片段前头写“证据1：”，然后prompt里要求“回答时先复述对应证据的原文，再给结论”，这样模型就老实多了。你那个“context: question:”确实太干，可以试试把问题拆成“指令+证据+问题”三段，中间用特殊符号隔开。另外我发现把“如果证据不足就直说”放在prompt最开头比放结尾管用，模型会更早注意到。不同模型的话，开源的对标点符号敏感，GPT-4对自然语言指令理解更好，所以措辞得一个硬一个软。

我也是做RAG的，你这问题太真实了。我现在的做法是给每个

编号+强制“无中生有算违规”能压住缝合，但开源模型得把“不知道”放选项里，别指望它自觉。

试试把每个chunk前面加上“文档1：”这种编号，再让模型只准引用编号内容，跑不准就让它回“未找到”。

试试给每个chunk编号，然后强制模型只能引用编号对应的内容，没找到就说不知道，比单纯加“严格”管用。

我之前也踩过这坑，后来加了个“若原文无直接答案请明确拒绝”的指令，幻觉少多了。

试试把检索片段拆成编号列表，强制模型按编号引用，效果比整段塞context稳得多。

不同模型确实吃不同套路，开源模型对指令更敏感，得加“若原文无答案就答不知道”这类硬约束。

试试让模型先复述context再作答，相当于强制它走一遍原文路径，比单纯说“严格基于”稳得多。

编号确实管用，我之前把每个chunk标成[1][2]再让模型“只引用编号内容”，幻觉少了很多，但记得要在prompt里强调“若编号间信息矛盾，以第一个为准”。另外分隔符别用markdown那种，容易跟原文混淆，用===这种简单符号反而清晰。开源模型我试过llama3，得把“不知道就说不知道”放最前面，不然它宁可瞎编也不认怂。你那个模板太裸了，建议加一层“你只能使用上述材料，禁止联想”的硬约束，但别指望一句话搞定，得配合few-shot给个正确例子。

我之前也踩过这个坑，后来发现光靠“严格基于”不够，得把检索片段拆成带编号的独立段落，然后让模型先复述编号对应的内容再回答，效果稳很多。另外我会加一条“如果信息不在上述片段里，直接回答不知道，别自己编”，对开源模型尤其管用。不过你用的模板确实太简单了，建议试试在context前加个“以下是参考文档片段，编号[1]到[n]”的引导，再在question前强调“只可用片段信息推理”。不知道你试过让模型先输出“相关片段编号+理由”再给最终答案没？这招能逼它老老实实对着原文走。

你这个情况挺典型的，光加一句“严格基于原文”确实不太够，模型该编还是编。我一般会把chunk编号，然后用类似“仅根据以下编号片段回答，引用时标出编号，找不到就回答‘未提及’”这种结构，效果会稳不少。另外可以加个few-shot示例，专门演示“原文没有就直说”的情况，比单纯下指令管用。不同模型确实要调措辞，GPT-4吃指令比较准，开源模型更依赖格式和示例，多试几版就知道了。

编号和分隔符真的有用，我习惯给每个chunk标上[1][2]，然后要求模型引用时带上角标，缝合情况少了很多。另外“原文没有就直说不知道”这句最好写成硬性规则放开头，别放在末尾，模型对前置指令更敏感。开源模型确实得更直白，像Qwen得反复强调“只能依据上文”，GPT-4相对省心但也别指望它百分百老实。

你这个“context: … question: …”确实太素了，模型不自由发挥才怪。我自己的经验是，光加一句“严格基于以下内容”基本没用，得把约束拆成可检查的动作。比如我会把检索片段编号成 [1] [2] [3]，然后要求模型每句话后面必须带引用编号，没编号的句子就算它自己编的。再加一条硬规则：如果所有片段里都找不到答案，就只输出“根据已知资料无法回答”，别给它留发挥空间。另外分隔符也很关键，我习惯用三引号或者 XML 标签把 context 包起来，让模型清楚哪部分是资料、哪部分是问题。不同模型确实要微调措辞，GPT-4 对结构化指令更听话，开源模型有时候得把“必须引用原文”重复两遍，甚至给个 few-shot 例子才稳。还有个小技巧，把 temperature 调低到 0.1 左右，比改 prompt 还立竿见影。

我踩过一样的坑，光加“严格基于原文”真不够。你可以试试把chunk编号，比如[1][2]，然后要求模型每句话结尾标来源编号，这样它乱编的时候会露馅。另外加一句“如果检索内容没提到，就回答‘资料里没有’”，比只说“别瞎编”管用。开源模型对格式更敏感，最好把指令放最前面，再用###分隔上下文和问题，别混在一起。