最近在做一个基于知识库的问答机器人，用的是经典的RAG架构（Embedding+向量库+LLM）。现在检索出来的chunks相关性还行，但最终生成的答案总是不太对味——要么太啰嗦把无关背景也带进去，要么太干巴只复述原文，完全没有总结和推理。我自己试过在Prompt里强调“仅根据以下内容回答”“如果不知道就说不知道”，也试过加few-shot例子，但效果不稳定。想请教下各位，RAG场景下的Prompt模板一般是怎么设计的？比如系统提示词和用户提示词的边界怎么划？上下文窗口有限时，怎么取舍检索到的多段内容？有没有什么结构化的写法或者踩坑经验可以分享？谢谢！
楼主
2026-08-03
RAG里Prompt模板到底该怎么写？感觉怎么调都差点意思
请 登录 后发表回复
全部回复
共 102 条
2楼
2026-09-19
我也卡过这个点，后来发现关键不在提示词写多狠，而在上下文怎么给。多段chunk别一股脑塞进去，按相关度排序后加个简短来源标注，模型反而更知道该信谁。系统提示词我一般只定角色和输出格式，具体约束放用户消息里，这样调起来灵活。另外“仅根据以下内容”这种话容易让模型变复读机，不如明确让它先判断再综合，效果会稳一些。
3楼
2天前
我最近也踩过类似的坑，感觉问题往往不在模板本身，而是检索和生成之间缺了一层“压缩”。你检索出来的chunks直接塞进去，模型很容易被原文带跑，要么照抄要么把边角料也揉进来。我现在的做法是让模型先别急着答，在prompt里加一步“先用一句话概括每段材料跟问题的关系”，再让它基于这个概括去回答，稳定性好了不少。系统提示词我一般只放角色、输出格式和硬约束，比如“只输出答案不解释来源”，用户提示词里才放具体问题和材料，这样边界清楚点。上下文取舍上我倾向按相关性排序后只保留top3，多出来的宁可丢掉，因为塞太多反而稀释注意力。few-shot确实有用但别放太多，两三个就够，而且例子要跟你实际chunk长度接近，不然模型会模仿例子的篇幅跑偏。另外可以试试在prompt里明确要求“先判断材料是否足够，不够就直接说信息不足”，比单纯说“不知道就说不知道”更管用。