RAG里Prompt怎么写才能让大模型老实引用原文，不乱编？

我之前也踩过这个坑，光在System Prompt里喊口号没用，GPT-4对“严格”这种词的理解很飘。后来我把检索片段拆开，在User Prompt里用“【参考文档1】...【参考文档2】...”单独列出来，明确写“回答时只能引用上述文档编号，如果文档间有冲突，以编号靠前的为准”，效果明显稳定多了。

关于温度，我个人觉得temperature=0不是万能药，它只是降低随机性，但模型该“脑补”还是会脑补，特别是当检索片段里有模糊表述时。你那个“价格100元”被扩成“100-120”，很可能是因为片段里还有别的价格信息，模型自己做了“合理推断”，这时候得靠指令堵死它。

我现在的模板是：“如果【参考文档】中没有直接对应问题的明确数据或结论，请直接回答‘文档未提供相关信息’，不要推测，不要补充例子。” 这句话比“请严格基于...”管用得多，因为给了模型一个具体的“逃生出口”。

Few-shot的话，我试过放一个“正确回答”和“错误回答”的对比示例，但前提是示例必须跟你的业务场景贴得很近，否则模型反而会模仿示例的语气而不是逻辑。如果你要试，建议只放一个正例，别放反例，反例容易让模型纠结“哪些算错”。

另外一个小技巧：把问题放在参考文档后面，而不是前面。比如“请阅读以下文档，然后回答问题：...”，有时候顺序变了，模型的注意力分配会不一样。你可以A/B测一下。

最后想问下，你检索回来的片段是不是经常有多段互相矛盾的？如果是的话，建议先做个简单的冲突检测，或者把文档按时间/来源排序，不然模型就算不编，也容易选错答案。

我之前也被这个问题坑过，现在习惯在User Prompt里用【参考文档】和【用户问题】两个明确的分区，效果比全塞在System里稳很多。温度调成0确实有用，但别指望它根治，模型该发散还是发散。Few-shot我试过，放两个极端例子（一个忠实引用、一个拒答）会有改善，但别放太多，不然反而干扰。另外我还会在Prompt末尾加一句“如果参考文档未提及，回答‘信息不足’并结束”，比单纯说“不要编”管用。

我之前也踩过这个坑，光靠system prompt压不住GPT-4的发挥欲。现在我是把检索片段用【参考文档】放在user prompt里，然后在末尾明确加一句“只允许引用上述文档中的原话，没有就回答不知道”，效果比单纯强调“严格基于”好很多。温度调0确实有用，但我觉得关键还是few-shot，给一个“原文说X，回答X”和“原文没提，回答不知道”的正反例，模型一下就老实了。另外你可以试试在生成后加一个校验步骤，把回答里的事实性数字和原文比对，不匹配就重写，这招保底很稳。

我之前也踩过这个坑，光靠system prompt约束确实不顶用，GPT-4对“严格”这种词的理解很飘。你提到的用【参考文档】分隔符我强烈建议加上，而且最好在user prompt里明确告诉它“以下内容为检索片段，回答时只能引用其中信息”，再配合“若片段未提及，请回答‘未找到相关依据’”，这个组合比单写系统提示词稳得多。temperature=0我试过，能减少发散但治不了根本，因为问题出在模型对“检索内容”和“外部知识”的边界感太弱，你得在提示词里给它划清物理边界。Few-shot我觉得如果示例和真实场景高度相似才有用，不然反而可能带偏格式，我自己的经验是给一个“引用原文并标注来源编号”的示例，比给一堆问答对效果好。另外有个小技巧，把检索片段按相关度排序后，在提示词里加一句“优先参考排在前面的片段”，也能减少它去脑补后半段内容。最后提醒一下，LangChain里如果你用的是stuff链，记得把文档拼接时加上清晰的编号标记，这样模型更容易“指哪打哪”，不然它自己都分不清哪句话是哪篇文档里的。

temperature拉低确实有用，但关键还是得在user prompt里把参考片段单独隔开，再加一句没找到就直说不知道。

Few-shot对复杂指令挺有效，但别写太多示例，3个以内够用，不然模型容易学偏格式。

温度调低确实立竿见影，但更关键是把检索片段放user prompt里用分隔符框死，亲测有效。

few-shot别整太多，两个反面例子就能镇住它，比写一大段规则管用。

我最近也踩过这个坑，光靠system prompt确实压不住。把检索片段用【参考文档】单独隔开放user prompt里会好很多，相当于给模型划了个边界，但关键是明确告诉它“回答里出现的每个数字和结论必须能在参考文档里找到对应原文”。另外温度设0.2左右就行，你那个100和100-120的偏差，大概率是模型在靠常识补全，few-shot给一个“文档没提就直说不知道”的反例比正例管用。还有个笨办法，后处理时把回答里的关键数字抽出来跟原文比对，不一致就强制改成原文表述。

温度调低确实有用，但更关键的是提示词里得明确“引用原文编号”或“禁止推断”，不然模型该脑补还是脑补。

我之前也遇到过这问题，后来把检索片段用【参考文档】包起来放user prompt里，然后明确加一句“回答时只能引用参考文档中的原句”，效果比放system里稳多了。temperature=0确实有用，但别全指望它，偶尔还是会飘。Few-shot可以试一个强相关的例子，比如“文档说X，回答就写X”，多了反而可能带偏。另外你最后那句“我现...”是不是没说完？是发现什么新情况了吗？

我最近也踩过这个坑，temperature=0确实能压住一部分乱编，但治标不治本。你试试把检索片段和问题明确分段，比如用XML标签包起来，然后加一句“只引用标签内的原话，禁止推断”，效果会稳很多。Few-shot对复杂指令挺有用，但别放太多例子，不然模型容易过度模仿格式。另外我习惯在prompt末尾加一句“若原文没提到，就回答‘未找到相关信息’”，比“不知道”更不容易触发模型强行补充。

我之前也踩过这个坑，光在System Prompt里喊口号确实没用。我的做法是强制把检索片段和问题用分隔符分开，比如“### 参考文档 ###”和“### 用户问题 ###”，然后在User Prompt里明确写一句“只依据参考文档内容作答，若信息不足就回答‘文档中未提及’”，实测比放在System里稳定得多。另外temperature我直接设成0，但光这样还不够，因为模型还是会脑补细节，所以我会在检索片段后面加一句“以下内容为唯一事实来源，禁止使用外部知识或推测”。Few-shot倒是试过，给一个“原文明说了100元，模型答100元”和“原文没提价格，模型答不知道”的正反例，效果有提升，但代价是token消耗变大，而且不同场景的示例得跟着换。你那个“100-120元”的问题，大概率是模型把训练时的先验知识混进来了，可以试试把检索片段按句子拆开，用JSON格式传进去，比如带“source”字段，让模型明确知道哪句话对应哪个来源，这样它引用时会更有约束感。还有个小技巧，回答里强制要求加“根据参考文档第X段”这种引用标记，虽然麻烦点，但能逼着模型对齐原文。

我之前也踩过这个坑，光靠system prompt约束确实不够，模型该飘还是飘。你的第一个思路方向是对的，把检索片段和问题在user prompt里用明确的标记分开，效果会比混在一起强不少，我试过用【引用文档】加编号，模型起码知道该往哪看。不过这个标记本身也得写清楚规则，比如“只能引用标记内的原文，禁止推测”，要比单纯说“严格基于”管用。temperature调0确实是个保底手段，但治标不治本，遇到模糊检索结果还是会脑补，关键还是得让模型意识到“没找到就是没找到”。Few-shot我觉得值得试，但不要给太复杂的例子，给一两个“原文有就说，没有就说不知道”的对比示例，模型学得很快。另外我还有个歪招，就是让模型先复述一遍检索内容里和问题相关的原句，再让它基于复述内容作答，相当于强制它过一遍脑子，编造率会降很多。你那个价格案例，可以试试在prompt里加一句“数值必须与原文完全一致，不得使用约数或范围”，这种硬性约束比泛泛的“忠实原文”有效。

我试过把参考文档用【】包起来放user prompt里，效果确实比放system里稳。

你这问题我踩过一样的坑。我的做法是把参考文档直接塞进user prompt，用明确分隔符圈起来，然后加一句“只依据上述内容作答，若未提及则回答‘未找到相关信息’”，效果比放system里稳得多。temperature设0确实有用，但别全指望它。Few-shot可以加，但别超过两三个例子，否则容易把模型带偏到示例的句式里。另外你试试在每段检索结果前加个编号，然后要求回答里标注引用来源，这样它乱编时至少会心虚一点。

我自己也踩过这个坑，LangChain默认会把检索片段拼进prompt里，但模型就是会“脑补”。后来我试了把参考文档用明确的XML标签包起来，比如...，然后在User Prompt里加一句“只能引用标签内的原文，禁止推断”，效果比System Prompt里写管用得多，你可以试试结构化分隔符。关于你问的Few-shot，我实践下来对降低幻觉有帮助，但关键是示例要选那种“文档没提就明确说不知道”的反例，光给正向示例模型还是会飘。temperature=0确实能减少随机性，但GPT-4在低temp下也可能因为prompt模糊而自行补全，所以不如把“如果文档中没有明确数值，请回答‘未找到相关信息’”直接写进User Prompt末尾，比System Prompt强制力强。另外我建议你在检索片段返回时，把每段都带上来源ID，然后要求模型回答时标注引用编号，这样它为了面子也会老实点。还有个细节，检索到的片段如果太长，模型容易忽略末尾部分，你可以先做一次重排，把最相关的两段放最前面，能显著降低乱编概率。

我之前也遇到过这问题，后来发现把参考文档用XML标签包起来、明确告诉模型“只能引用标签里的内容”比单纯写“严格基于检索”管用得多。另外temperature真得调低，但0有时候会让输出太生硬，我一般设0.1-0.2。Few-shot确实有效，但别给太多例子，3个左右就够了，重点示范“找不到就不答”的边界情况。你那个价格例子，建议在prompt里加一句“禁止估算或推测数值”，效果立竿见影。

把参考文档丢进user prompt里用xml标签包起来，效果比system prompt强不少。

我试过few-shot加temperature=0，但最管用的还是让模型先复述原文再作答。

我之前也踩过这个坑，光在system prompt里压根本没用。后来我把检索片段直接塞进user prompt，用【文档】和【问题】分开，再在末尾加一句“每个结论后面标上对应文档编号，没依据就写无法判断”，效果一下子稳多了。temperature调低确实有帮助，但别完全归零，不然答案会变得生硬。Few-shot我个人觉得没必要，除非你的场景特别特殊，不然一个清晰的指令模板比几个例子管用。还有个小技巧，你可以试试让模型先复述一遍相关片段里的事实，再让它组织语言回答，这样它就不太敢乱发挥。

我最近也踩过这个坑，temperature=0真不是万能药，尤其GPT-4在长上下文里对指令的遵从度会衰减。你说的用【参考文档】标记这个思路我试过，比全塞在system prompt里强，但关键是要把“引用”这个动作拆成两步：先让模型判断文档里有没有答案，再让它摘录原文，而不是直接生成。另外我发现一个特别有效的土办法，就是在prompt里加一句“如果文档中没有出现某个数字或事实，回答时绝对不能推测”，这句话比“请严格基于检索内容”管用得多，因为它把“不做什么”说清楚了。Few-shot我试过给两个正例一个反例，效果有提升但不稳定，有时候模型会模仿示例的格式反而忽略内容，建议你可以在每个示例后面标注“注意：这个回答完全来自文档第X段”，强化它的引用意识。还有个小技巧，把检索片段按相关度排序后，在末尾加一句“如果上述文档都不包含答案，请直接回复：根据现有资料无法确认”，这个比“说不知道”更具体，模型不容易绕弯子。你现在的LangChain版本是用的什么retriever？如果片段切得太碎，模型可能真找不到完整信息，被迫脑补。

温度调低确实立竿见影，但few-shot治标不治本，关键还是得把检索片段和问题用分隔符硬隔开。