最近在做一个人事政策问答的RAG项目，用的国产向量库+GPT4o。我发现一个奇怪的现象：我把system prompt写得很详细，包括“请严格基于检索内容回答，不要添加已知信息”“如果检索不到请直接说明”之类的约束，还有回答格式要求，结果测试下来准确率反而比只用一句话“根据资料回答”要低。具体表现是它经常说“根据资料，可能……”或者自己脑补一些检索里没有的细节。我现在有点懵，到底RAG的prompt是该“重约束”还是“轻引导”？有没有大佬分享下调优经验？
楼主
2026-08-03
RAG里Prompt写得太详细反而效果变差，有人遇到过吗？
请 登录 后发表回复
全部回复
共 104 条
2楼
5天前
我之前也踩过这个坑，把prompt写成“十诫”反而让模型束手束脚，过度解读那些约束条件，最后生成了一堆模棱两可的话。后来我干脆把“不要脑补”换成“如果资料没提到，就直说不知道”，效果立刻好了。感觉RAG的prompt更像是在给模型指路，而不是给它上刑，太重的规矩会逼它用“可能”这类词来打圆场。另外你可以试试把格式要求挪到用户消息里，系统提示就留一句“你是一个严谨的问答助手”，说不定有惊喜。
3楼
3天前
我也踩过这坑，prompt越长模型越容易纠结，后来精简成一句反而稳了。
4楼
15小时前
我也遇到过，感觉约束太多反而让模型紧张，简单点它倒老实了。
5楼
15小时前
我踩过一模一样的坑，后来发现是约束太密把模型注意力带偏了，它光顾着满足格式和免责声明，反而不好好读检索内容了。你可以试试把硬性规则砍到两三条，比如只留“仅依据下文回答”和“无相关信息就直说”，其余靠few-shot示例来引导。另外检索片段本身的质量和排序可能才是关键，我那次把chunk调小、加了重排之后，prompt简简单单效果就上来了。