RAG系统里用Prompt让LLM“不知道就说不知道”，效果总不理想

光靠prompt确实治标不治本，我是加了个答案与检索内容的相似度阈值，不达标就直接返回“未找到”。

你这情况多半是模型在硬圆场，不如把“不知道”改成“根据现有资料无法确认”，后置校验比prompt稳得多。

阈值调太高确实伤召回，可以试试让模型先输出“证据不足”再给答案，比单靠prompt稳。

同感，光靠prompt约束真的不太稳，尤其是GPT-3.5对“不知道”的理解很飘。我后来是把检索分数和LLM的置信度结合，低于阈值就直接返回预设的“未找到相关答案”，比让模型自己判断靠谱多了。你还可以试试在prompt里给几个“拒答”的示例，喂一两条类似query但文档里没答案的例子，效果会比单纯说“不知道”好一些。不过最终感觉还是得靠后处理兜底，别指望LLM自己诚实。

说实话光靠prompt真治不了这毛病，GPT-3.5的“幻觉”本质上是生成偏好问题，你越强调“不知道”它反而越容易自我合理化。我后来是加了道后处理：把检索到的top-k段落和生成结果做个语义相似度校验，低于阈值就直接返回“未找到相关答案”，比让模型自己判断靠谱得多。另外阈值也别只调一个，试试按不同query类型动态调，比如事实型问题调高，开放型问题调低，召回率能平衡不少。

阈值调高不如加个反问后处理，让模型先给置信度再决定答不答。
或者试试few-shot给几个“不知道”的示例，比单句指令稳多了。

阈值调高确实伤召回，试试让模型先输出“证据不足”再给答案，配合后处理判断会稳很多。

我最近也在搞类似的，光靠prompt确实压不住幻觉，GPT-3.5对“不知道”的理解很看运气。后来我是在检索端加了个相关性打分，低于阈值就直接返回“资料库没覆盖”，根本不进LLM，这样比事后让它承认不知道稳定多了。你可以试试把阈值调低点，但加个二次过滤，比如用embedding距离或者关键词重合度做硬判断，比纯调一个数灵活。另外，如果非要走LLM，别让它“判断”有没有答案，改成让它“引用原文”，引用不出来就强制输出固定话术，效果会好点。

这问题我也踩过坑，光靠prompt真的不稳，LLM天生就倾向给个合理答案。我后来是加了个后处理：让模型先输出一个置信度分数，低于阈值就直接返回“未找到相关信息”，比单纯让它说不知道靠谱多了。另外你阈值调高损失召回，可以试试对检索结果做个重排，或者把top-k加大但用更严格的相似度过滤，效果会平衡一些。

这问题我太有同感了，纯靠prompt约束幻觉真的不靠谱，GPT-3.5对“不知道”的理解经常飘。我自己试下来感觉，与其让它自己判断，不如把“是否知道”这个决定权从模型手里拿回来。比如先让LLM只做“抽取式回答”，强制它必须从给定的文档片段里摘原文，摘不到就输出空字符串，这样比让它自由生成要稳得多。然后再加一层简单的规则后处理，比如判断输出为空或者相似度低于某个阈值时，直接返回“未找到相关信息”，比让LLM自己说“不知道”可靠多了。另外你提到的阈值问题，我建议别只看embedding分数，可以额外用LLM做一个二分类的“相关性判断”，虽然多花一次调用，但能显著减少因为检索错位导致的胡编。还有个野路子，就是在few-shot例子里故意放一两个“文档无关但问题很像”的反例，让模型学会拒绝，比单纯说教管用。反正核心思路就是别把“诚实”寄托在模型的自觉上，得靠流程设计逼它诚实。

建议别死磕prompt，加个“文档相关性”打分环节，低于阈值直接返回预设话术更稳。

别光靠prompt，加个置信度判断，抽到的片段分太低就直接回“没找到”更靠谱。

试试让模型先给答案标个来源引用，引不到就拒答，比单纯说“不知道”好使。

光靠Prompt确实不太稳，我后来加了个相关性打分做前置过滤，低于阈值直接返回“没找到”，比让模型自己判断靠谱多了。

光靠提示词确实不稳，我后来加了个小模型先判断检索内容能不能回答，不行就直接兜底，效果好很多。

这个坑我也踩过，光靠System Prompt确实不太稳，尤其是GPT-3.5这种指令遵循本来就一般的模型。我后来试过一个相对有效的做法，是在Prompt里把“不知道”的判定条件写得更具体，比如明确告诉它“只有当检索内容里出现能直接回答问题的句子时才作答，否则输出固定话术”，而不是笼统地说不知道就说不知道。另外你可以在检索结果里带上相似度分数，让模型看到哪些片段是低置信的，它自己会更容易判断该不该硬答。不过说到底这还是个概率问题，真要稳定还是得在模型外面加一层判断，比如先让模型输出一个是否可回答的标记，再做后处理拦截。我现在习惯用两步走，先判空再生成，虽然多一次调用但省心很多。阈值那个思路方向对，但单纯调阈值确实会牺牲召回，可以考虑配合rerank或者对低分片段做二次筛选。

光靠Prompt确实不太稳，我试过把“不知道”改成“文档里没提到”，再让它先复述检索到的关键句，反而听话不少。另外可以加个轻量判空步骤，比如让模型先输出“有答案/无答案”再决定要不要回答。阈值调高召回掉得厉害的话，不如在生成前用一次额外的LLM调用判断相关性。纯Prompt不是万能的，后处理兜底更靠谱。