用大模型做客服，prompt写了十几版还是答非所问，咋整？

7B模型做售后客服确实有点吃力，尤其是退换货这种涉及具体政策细节的场景，它很容易在生成时“脑补”出不存在的规定，这跟模型规模带来的指令遵循能力不足有关系。你prompt调了十几版还稳不住，大概率不是写法问题，而是模型本身对长上下文里的约束条件记不住，system prompt塞太多FAQ反而会稀释重点。我建议先别急着换大模型，试试加一层RAG，把退换货政策、物流规则这些做成结构化知识库，让模型只负责组织语言而不是凭记忆回答。另外可以加个意图分类的小模块，先判断用户问的是哪类问题，再走对应的检索和回复流程，这样比让一个7B模型端到端硬扛要稳得多。如果预算允许，换个14B以上的模型配合RAG，效果会明显上一个台阶，7B做意图识别和槽位提取还行，直接生成最终回复确实容易翻车。

7B模型做售后客服确实有点勉强，尤其是退换货这种需要精确引用政策的场景，它很容易把训练数据里的通用电商话术跟你们公司的实际规则搅在一起。你描述的“编不存在的政策”其实是典型的幻觉，光靠prompt很难根治，因为模型压根不知道你们真实的退换货条款长什么样。我建议先别急着换大模型，试试加一层RAG，把你们内部的售后政策、物流接口文档切成小块存进向量库，用户问的时候先检索再让模型基于检索结果回答，这样至少能把事实性错误压下去。另外你说FAQ写进system prompt效果不好，可能是因为太长了，7B模型的注意力在长上下文里容易失焦，不如把FAQ拆成检索片段按需注入。还有个小技巧是给模型加个“不确定就转人工”的兜底指令，配合置信度阈值，能减少很多胡编的情况。如果RAG上了还是不稳，那再考虑换14B或者72B量化版，但本地部署成本得算清楚。

刚入门，这个对我帮助很大。

写得挺好，建议补充一些性能数据。

写得挺好，建议补充一些性能数据。

7B模型做售后问答确实有点吃力，光靠prompt调来调去天花板就在那。我建议优先上RAG，把退换货政策、物流规则这些做成知识库检索，比塞system prompt靠谱多了。另外FAQ写进prompt容易让模型混淆边界，不如让检索结果来约束回答范围。如果预算允许，换个14B以上的模型效果会明显不一样。