用大模型做客服，prompt怎么写好才能不“胡说八道”？

这问题我太有同感了，之前做金融客服demo也是被GPT-3.5的“自信胡诌”折磨得不行。后来发现单靠prompt约束真不行，你越强调“不知道就别答”，它反而越容易进入防御模式，连该说的政策都懒得解释了。我现在的做法是把知识库拆成小块，用检索的方式把相关片段动态拼到prompt里，而不是一股脑全塞进去。system message里会明确写“你是某电商平台的客服助手，只能基于以下【库存信息】和【退换货政策】回答”，然后每次请求前把当前商品ID对应的实时库存查出来，格式化成“商品A：有货，数量5”这种硬数据。这样它就没法编了，因为答案来源是现成的。另外，对于没法100%确定的信息，我会在system里加一句“如果用户问的内容不在资料中，请引导用户转人工客服”，而不是让它自己发挥。还有个小技巧，用few-shot举例，给两三个“用户问库存，模型答库存”的标准对话，比单纯写规则管用得多。不过说实话，大模型做客服，最稳的还是外接一个规则引擎兜底，模型只做话术润色和意图识别，关键数据全走API校验，不然生产环境迟早出事。

说真的，知识库必须得塞，不然GPT-3.5靠训练数据根本不知道你实时库存。我之前做类似demo是把商品信息转成json塞进system message里当“背景资料”，然后明确告诉它“只基于这个json回答，查不到就说需要转人工”，效果比单纯喊“别瞎编”强多了。另外角色设定确实放system里更稳，user prompt用户那边容易覆盖掉。不过你最好加个兜底逻辑，比如让模型先判断问题类型，再决定走政策库还是库存查询，不然它一碰到不知道的就只会甩锅“不清楚”。

建议把知识库拆成小块带检索塞进system，再让模型只输出“查到就说，查不到就转人工”的固定话术。

说实话你这问题我太有同感了，之前做售后bot也栽在“一本正经胡说八道”上，后来发现光靠prompt硬压根本治标不治本。核心得把知识库拆成结构化片段，比如用json键值对存商品ID和库存状态，然后让模型先检索再回答，而不是全靠记忆生成。system message确实比user prompt稳，我会在里面写死角色和权限边界，比如“你是客服，只能基于以下资料回答，超出范围就转人工”，但关键是要把资料本身也塞进去，不能只给规则不给数据。另外建议试试few-shot，给几个“没货时该怎么说”的示例，比单纯说“别乱编”效果好很多。还有个小技巧，让模型输出时带上置信度，比如“根据系统记录，目前库存显示为0”，这样产品那边也愿意接受不确定性。

这题我熟，之前做类似demo踩过坑。建议别把知识库全塞给模型，只把当前会话涉及的商品信息、政策摘要放进system message，再明确标注“未提及的信息一律回答以官网为准”，比单纯说“不知道”好用。另外可以试试few-shot，给两个正反例子，比如“当用户问库存时，若数据源无该商品，则回复'需人工确认'”，模型会学得更快。

我之前也踩过这坑，光靠system message设角色其实不够，得把知识库直接塞进prompt里，用结构化格式比如“当前库存：xxx，政策条款：xxx”喂给模型，让它只做检索和改写。另外可以加个兜底逻辑，比如“如果信息不在上述列表中，请回复转人工”，比让它自己判断靠谱多了。

知识库必须得塞，system message里把库存数据做成现查现答，别让模型自己猜。

建议把知识库检索结果直接拼到system里，再限定只能引用这部分内容作答，比单纯靠prompt约束靠谱得多。

知识库必须得塞，但别全塞，检索后只把相关片段拼进prompt，准确率能上来不少。

system message做角色设定确实是基础，但关键得把知识库转成“约束条件”而不是“背景故事”。比如把库存和退货政策写成“如果查询到X则回复Y，否则回复Z”这种带分支的逻辑，模型就不容易瞎编了。另外建议给每条回复加个“依据来源”的字段，哪怕用户看不见，也能让模型自己有个检查机制。我之前试过把FAQ直接塞进user prompt，效果反而不稳定，信息太多它反而会挑着答。最后，不确定的情况让它明确说“需要人工确认”比直接说“不清楚”更安全。

建议把知识库做成检索增强，让模型先查再答，比硬塞prompt稳得多，还能减少幻觉。

我最近用tool calling解决类似问题的，比单纯堆prompt稳多了，让模型先查库存接口再回答，查不到就明说不知道。你可以把知识库转成向量数据库，相关商品政策检索后塞进context，比全量塞system message省token也减少冲突。另外角色设定还是放system里，user prompt就专注当前问题，不然模型容易被带偏。要不要试试给模型加个“不确定就反问”的兜底逻辑，比如“您具体想查哪个SKU的库存？”，这样既不瞎编也显得客服更自然。

试试把知识库按商品ID切片塞进system message里，让模型只基于给定片段回答，比单纯口头约束靠谱得多。

另外给模型配个“不知道就反问”的兜底话术，比如引导它问用户具体商品编码，比硬憋答案强。

system message里锁死数据接口，库存政策全走实时查询，别让模型自己发挥。

真想不胡说，知识库得切成小块按需检索喂进去，光靠prompt压不住。

这问题太真实了，GPT-3.5直连做客服不调教确实容易一本正经地瞎编。你试的那个“只回答确切知道的信息”其实是把双刃剑，模型会把它理解成“保守模式”，连它推理能得出的结论都懒得给了。我的经验是别指望靠一句prompt解决所有问题，得把系统拆开看。库存这种动态数据千万别让它“知道”，你得在调用前先用商品ID查一次数据库，把实时状态拼进user prompt里，比如“当前库存5件，用户问有没有货”，这样它就没法编了。退换货政策这种静态内容，可以塞进system message当背景知识，但别全文堆进去，你给它一个结构化的政策摘要，配上“如果用户问超出这些条款的问题，就引导转人工”的指令。另外，角色设定用system message确实更稳，因为它在整个对话里权重更高，不容易被用户的问题带偏。还有个土办法，把“不确定就反问”写进规则，比如“如果没查到物流单号，就问用户要订单号”，比直接说“不知道”体验好很多。最后提醒下，3.5的上下文窗口有限，知识库内容多了反而会干扰，最好只放当前会话相关的商品信息，其他用关键词检索后临时注入。

system message做角色设定确实更稳，但关键还得靠外挂知识库兜底，把库存和政策做成结构化数据让模型按需检索，别指望它记死内容。可以试试在system里给个明确指令“仅依据提供的资料回答”，同时把常见问题整理成few-shot模板放user prompt里。另外你提到的“乱编”也可能是温度调太高了，降到0.2左右能改善不少。

库存和退换货这种问题千万别让模型自己发挥，直接RAG把知识库塞进上下文最稳，prompt里明确告诉它“只根据下面提供的资料回答，资料里没有就说不知道”。system message设角色确实比user prompt管用，但关键还是得在prompt里把边界划死，比如“禁止编造库存数字”。我试过让它先复述一遍检索到的信息再回答，准确率能高不少，你可以试试。

我之前也踩过这个坑，光靠system message写“不要编造”确实不够，模型该飘还是飘。后来我的做法是把库存、退换货这些动态信息通过检索实时塞进context里，prompt里明确说“只根据下面提供的资料回答，资料没有的就说不确定”，效果稳很多。角色设定放system里没问题，但关键还是得给它“料”，不然它只能靠猜。你可以试试把政策拆成结构化字段再喂进去，比整段文字靠谱。

你这情况太典型了，我去年做售后机器人也踩过一模一样的坑。GPT-3.5直调最大的问题就是它没有“不知道”这个概念，你不给它明确边界，它就会顺着你的话往下编。光加“只回答确切知道的信息”其实没用，因为模型根本分不清自己知道什么，它只是觉得自己在生成合理文本。我的经验是别把知识库硬塞进prompt，塞多了反而干扰，正确做法是先做一层检索，把用户问题相关的库存或政策片段捞出来，再作为上下文喂进去，prompt里明确写“只根据以下信息回答，信息里没有的就直接说查不到”。system message做角色设定确实比user prompt稳一点，但关键还是得靠检索层兜底，不然角色设定再细也拦不住它瞎编。另外温度调到0.2以下也能减少胡说的概率，但别指望根治，电商场景最后基本都得加一道人工兜底或者规则校验。

我之前也踩过这坑，光靠system message说“别乱编”基本没用，模型该编还是编。后来改成把库存和退换货政策直接拼进prompt里当上下文，再让它“只根据以下信息回答，信息里没有就说不知道”，准确率一下就上来了。不过知识库得动态查，别硬塞静态文本，不然商品一多prompt就炸了。你可以试试用RAG的思路，先检索再生成，比单纯调prompt稳得多。