RAG的prompt写不好，召回质量还行但生成总不对味，咋调？

试试在user prompt里把文档标成[1][2]再让模型只引编号，加句“无依据就直说不知道”，会清爽很多。

你这问题我太有同感了，bge-m3召回准但生成跑偏，八成是prompt没把“边界感”立住。我试过最管用的一招是，在system里直接写“你只能使用用户提供的文档内容，禁止引入任何外部知识或推测”，比单纯说“基于文档”管用得多。然后user prompt里别把5条文档一股脑全丢进去，按分数排序后加一句“优先级从高到低，低分文档仅作参考，冲突时以高分文档为准”，模型就会老实很多。至于“不知道就说不知道”这个必须加，而且要具体点，比如“如果文档中没有明确答案，请直接回答‘知识库中未找到相关信息’，不要编造”。给你个我目前在用的模板：system写“你是企业知识库助手，回答必须严格基于给定文档，禁止臆测；若信息不足，明确说明”；user里先放“【问题】”，再放“【文档1-5】按相关度排序”，然后加一句“请结合文档1和2优先作答，文档3-5仅作补充”。这样调完，至少啰嗦和瞎编的问题能解决大半，剩下的就是靠few-shot example把“简洁有重点”的风格定下来，你可以试试。

我之前也踩过这个坑，bge-m3召回准但生成乱，后来发现问题不在检索，而在你给模型划的“答题范围”太模糊了。你可以试试把检索结果按分数排序后，在prompt里直接标序号，比如“文档1（相关度最高）...文档5（相关度最低）”，然后明确说“优先依据文档1和2，其余仅作参考”，这样模型会明显收敛很多。关于“不知道就说不知道”这个一定要加，不然它真的会硬编，我见过最离谱的是把完全无关的旧版本制度当背景写进去。另外你提到的“文档冲突以最新为准”也很关键，但建议别只写这一句，最好在每条文档后面标注日期或版本号，让模型自己判断。我现在的模板大概是：system里写“你是企业知识助手，回答必须严格基于给定文档，若文档无答案请直接回复‘知识库中未找到’，禁止推测”，user里把文档按“【文档1】标题+内容”列完，最后加一句“请结合文档1-5，优先采用与问题最相关的信息，不要展开无关背景”。这样调完，至少啰嗦和编造的问题能解决大半。

试试在prompt里按相关度编号，强制只参考前两条，加一句“不确定就直说”，效果立竿见影。

我之前也踩过这坑，后来发现光靠排序不够，得在prompt里明确给文档编号，然后告诉模型“优先用编号靠前的，且只允许引用其中事实，别自己发挥”。你那个“只说不知道”的约束很关键，不然模型真会硬编，我加了一句“若文档无答案，直接回复‘未找到相关信息’”之后效果好多了。还有个小技巧，把用户问题拆成几个子问题塞进prompt，让模型按步骤答，啰嗦感会少很多。你可以试试这个结构：先给文档列表，再给问题，最后加一句“请基于文档内容，用三点以内简短回答”。

加个“严格按文档1-3回答，别自己发挥”试试，再补一句“没依据就说不知道”，效果立竿见影。

bge-m3召回能命中top5说明检索侧问题不大，瓶颈基本在生成侧的指令约束上。你现在的做法是把所有文档一股脑塞给模型，它分不清主次，自然会按自己的“惯性”去补背景知识或绕圈子。我建议你在user prompt里给文档加个显式的优先级标签，比如按相关度标成“最相关”“次相关”“仅供参考”，然后明确告诉它“优先依据最相关文档作答，其他文档仅用于交叉验证，若信息矛盾则以最相关文档为准”。另外“不知道就说不知道”这种话一定要写进去，但别只写一句空话，最好给个具体兜底话术，比如“如果检索内容与问题无关，请直接回复：根据现有资料无法回答该问题”。啰嗦的问题可以加一条“回答控制在200字内，只提炼与问题直接相关的结论，不要展开未提及的背景”。模板的话，我现在的结构是：system里写角色和回答原则，user里按“问题+文档1(最相关)+文档2(次相关)+…+指令”这样排，指令部分固定加一句“严格基于上述文档，禁止使用外部知识，若文档未覆盖则明确说明”。你可以试试把top5压到top3，有时候文档太多反而干扰判断，让模型做减法比让它做加法容易得多。

你这情况我太熟了，bge-m3召回没问题，问题往往出在生成侧对文档角色的混淆上。我的做法是在prompt里明确标注每段文档的序号和来源，然后加一句“优先依据序号靠前的文档，若信息矛盾则以最新日期为准”，这样模型就不会自己脑补了。另外“不知道就说不知道”这句一定要加，能明显减少胡编，但别指望它完全杜绝。你可以试试把user prompt改成“请严格基于以下文档[1][2]回答，若文档未提及，请直接回复‘知识库中无相关信息’”，比单纯说“基于以下文档”管用得多。

排序后标注置信度很关键，再强制要求“引用片段编号”能治啰嗦。

加一句“未提及就答不知道”确实管用，直接砍掉瞎编的内容。

建议试试在user prompt里加上“仅依据文档1和2作答，若信息矛盾取最新”，再补一句“无依据时直接说不知道”。

我之前也踩过这坑，bge-m3召回没问题但生成乱编，后来发现是没把文档按相关度标序号，模型不知道哪条才是重点。建议你在user prompt里把文档写成“文档1：...文档2：...”这样，然后加一句“优先参考文档1和文档2，其余作为补充”，输出会明显收敛。另外“不知道就说不知道”这个必须加，能砍掉不少幻觉内容。模板大概是：system里写“你是企业知识库助手，只基于提供文档回答，无依据时直接说不知道”，user里按相关度列完文档后加一句“若文档间存在矛盾，以最新文档为准”。

你这个问题太典型了，我调RAG的时候也踩过这坑。核心问题就是检索和生成之间缺一道“指挥层”，光拼文档进去模型确实容易跑偏。我现在的做法是先在user prompt里把文档按相关度标好序号，然后明确写“优先参考[1]和[2]，其他内容仅作背景”，最后加一句“若信息矛盾，以[1]为准”。另外“不知道就说不知道”这句一定要加，能压住幻觉，但别指望它完全杜绝。模板的话，你试试这个框架：先给角色定位，再列文档，最后给三条硬性指令——只基于文档回答、区分事实和推测、不确定时明说。

我最近也在调RAG，你这问题太典型了。建议别只堆文档，得在prompt里明确写“仅基于以下片段回答，忽略无关信息”，再加一句“若片段间矛盾，采用最新日期或相关性最高的那条”。另外“不知道就说不知道”一定要加，能避免不少幻觉。我试过把检索结果按分数标好序，然后告诉模型“优先参考分数最高的两条，其余仅作补充”，生成质量会稳很多。

先把不相关内容过滤掉，再在prompt里加个“如果文档没提到，直接回答‘知识库中未找到’”试试。我之前的做法是给每条文档加个来源标签，然后规定“只能引用标签1和2的内容”，这样能防止模型自己脑补。另外可以试试在user prompt里把问题重复一遍，再紧跟“请严格基于文档内容作答”。

对，你那个“基于以下文档回答”太笼统了，模型容易自由发挥。我一般会在system里写“你是一个严谨的知识库助手，回答需严格依据提供材料，不能使用外部知识”，然后user prompt里把文档按相关度排序，并标注“文档1为最相关，若内容冲突以文档1为准”。啰嗦的问题可以加一句“尽量简洁，直接给出结论”。

还有个坑是温度参数，生成不对味不全是prompt的锅。把temperature调到0.1以下，能减少发散。prom

试试在prompt里加句“只依据下面内容作答，没提到就说不知道”，能压住不少幻觉。

我之前也踩过这个坑，问题往往不在prompt写得多细，而是检索片段太碎、上下文里噪音太多。你可以试试把top5压到top3，再给每段标个来源和日期，prompt里明确说“优先用标注最新的内容，冲突时以它为准”。另外“不知道就说不知道”这句真得加，不然模型特别爱自己脑补。模板的话，system写“仅根据提供的资料回答，资料不足时直接说未找到相关信息，不要补充外部知识”，user里把文档编号列清楚再提问，效果会稳很多。

你这个情况其实挺典型的，召回没问题但生成拉胯，八成是prompt里缺了“约束感”。光说“基于以下文档回答”太软了，模型很容易放飞，把参数化知识掺进去。我一般会明确写“仅使用下方提供的片段，不要引入外部知识”，再加一句“如果片段中没有足够信息，直接回答‘根据现有资料无法确定’”，这个“不知道就说不知道”真的能压住不少幻觉。另外文档别一股脑全塞，按相关度排好序后标上编号，比如[1][2][3]，然后告诉它优先参考前面的，冲突时以编号小的或时间新的为准，这样它对“重点”的感知会强很多。啰嗦的问题可以在结尾加一句“回答控制在三句话以内，直接给结论”，比单纯说“简洁”管用。给你个我常用的骨架：你是企业知识库助手，只依据下列片段回答，禁止编造；片段按相关度排序，冲突以[1]为准；信息不足就明说；用不超过三句话直接作答。然后下面接片段和问题。你还可以试试把top5砍到top3，有时候冗余上下文本身就是干扰源。

你这个情况其实挺典型的，召回没问题但生成跑偏，八成是prompt没把模型的“自由度”收住。我自己的经验是，光写“基于以下文档回答”基本等于没约束，模型会忍不住把预训练里的知识也掺进来。可以试试在system里明确说“只使用提供的文档内容，不要引入外部知识”，然后加一句“如果文档中没有足够信息，直接回答‘根据现有资料无法确定’”。另外文档排序确实有用，可以在每条前面标个序号和来源，然后告诉模型“优先参考靠前的文档，冲突时以序号小的为准”。至于啰嗦的问题，加个“回答控制在三句话以内，直接给结论”这种硬性要求会好很多。给你个我常用的模板：system写“你是企业知识库助手，仅根据用户提供的文档回答问题，不编造、不扩展，信息不足时明确说不知道”，user部分写成“文档1：... 文档2：... 问题：... 请用简洁的语言回答，不要重复文档原文”。还有个小技巧，把top5里明显不相关的先手动过滤掉，别全塞进去，噪声少了生成质量会明显提升。

加“不知道就说不知道”很关键，再让模型标注引用来源，能少编不少。

你这个问题太典型了，我踩过一模一样的坑。光写“基于以下文档回答”基本等于没约束，模型会自己脑补。建议在system里加三句话：只允许用给定文档、有冲突时以标注时间新的为准、文档里没有的直接说“资料未提及”。另外把top5按相关度标上序号，让模型优先引用前两条，啰嗦问题会好很多。

我踩过类似的坑，top5全命中但生成还是跑偏，大概率不是召回的问题，而是prompt里缺少“信息裁剪”这一步。你提到的按相关度排序后明确告诉模型只参考前几条，这个思路挺对的，我自己会在拼接时给每段文档加编号和来源，然后在system里写“优先使用编号靠前的片段，若前两条已能回答则不要引入后面的内容”。另外“不知道就说不知道”必须加，不然模型会拿参数里的旧知识硬编，尤其是企业知识库有时效性的时候。关于文档冲突，与其让它自己判断“以最新为准”，不如你在检索阶段就按时间或版本号排好，prompt里直接说“若信息冲突，采用日期更新的那条”，这样模型执行起来更稳。啰嗦没重点的问题，可以在user prompt末尾加一句“用三句话以内回答，先给结论再给依据”，亲测比单纯说“简洁一点”有效。给个我常用的简化模板：system写“你是企业知识库助手，仅依据提供的文档片段回答，优先使用靠前片段，信息不足时明确说不知道，冲突时采用日期更新的内容”；user写“文档片段：1.xxx 2.xxx 3.xxx 问题：xxx 请先给结论，再列依据，不超过三句”。你可以先拿这个跑几条bad case，看是约束不够还是检索片段本身噪声太大，再针对性调。