微调LLM时，prompt该怎么写才能让模型学会“角色扮演”？

动态调整更靠谱，固定模板容易让模型死记硬背，带场景的样本里顺手塞两个反例比单独强调否定指令管用。

这问题我太有同感了，7B模型对格式的敏感度真的超乎想象。我个人经验是别用固定模板，而是把prompt当成“任务说明书”来写，每个样本根据对话历史动态生成，把当前用户意图和期望的动作写进去。比如你那个“商品坏了”的例子，我会写成“用户反馈商品损坏，情绪比较着急，作为客服你先共情，然后引导提供订单号和照片”，这样模型学的是决策逻辑而不是死记台词。

否定示例这东西吧，我觉得放少量在数据里有用，但别指望它单独起作用。你加了“不要说‘我很抱歉’”，模型可能学会避开这句，但转头又冒出“非常抱歉”或者“深感歉意”，本质是没学会“情绪安抚”这个抽象目标。更靠谱的做法是给多个正例，让模型自己归纳出“道歉要具体到问题+行动”的模式，比如“抱歉给您添麻烦了，我马上帮您查订单”。

另外我怀疑你“偶尔跑偏”可能跟数据里的角色一致性有关，试试在prompt里固定一个“客服人设”段落，比如“你是XX旗舰店的售后专员，风格专业但不冷漠，解决问题优先”。这比单纯说“你是客服”更能锚定行为边界。最后想问下，你训练时有没有把system prompt和用户输入分开处理？我试过把场景信息全塞进system里，效果比混在user里稳定很多。

说实话你这个问题我踩过挺多坑的，7B模型对指令格式的敏感度比想象中高得多。我后来试下来，固定模板其实比动态调整更稳，但模板里得把角色背景、当前任务、输出要求拆成三个独立段落，比如“你是XX客服，当前用户反馈商品破损，请按流程先致歉再索要订单号，回复不超过两行”。动态调整容易让模型把注意力放在格式变化上，反而学不到角色本质。

关于否定示例，我强烈建议别在prompt里直接写“不要说‘我很抱歉’”，因为模型会反向学到这个词的权重，更容易触发。更好的办法是把错误回复放到训练数据的负样本里，用“用户不满意”或“转人工”作为标签，让模型自己学会避开。另外你提到跑偏的问题，可以试试在prompt末尾加一句“如果信息不足，请主动询问”，这样能减少模型瞎编。

还有个细节，训练时每个样本的prompt里最好带上用户历史对话的摘要，哪怕只有一句“用户已连续两次投诉”，模型对情绪和语气的把控会明显改善。我自己是固定一个基础模板，然后根据样本类型加不同的提示词后缀，比如“需安抚情绪”或“需解释政策”，效果比完全动态更可控。你可以拿几个case做个A/B测试，看哪个格式下loss下降更稳定。

固定模板真不如动态调整，带场景的样本学得快多了。否定示例别写进prompt，容易教歪，直接给正确话术让模型模仿就行。

我之前调一个医疗问答模型也踩过类似的坑，后来发现固定模板其实是个陷阱。动态调整prompt虽然麻烦，但效果真的不一样，尤其得把用户可能的表达方式揉进去，比如“我肚子疼”和“我胃不舒服”背后对应的回复逻辑就不同。关于否定示例，我觉得别直接写“不要说抱歉”，那样模型容易学成回避式应答，反而更僵。我自己的做法是给正反例子配对，比如同一场景下“糟糕的回复”和“好的回复”各给一条，让模型自己对比着学，收敛速度快很多。另外你说偶尔跑偏，我猜可能和样本里角色相关词汇的分布有关，比如“客服”这个词如果在所有prompt里都出现，模型可能就把“客服”当成触发词，换了场景就不灵了。你可以试试把角色描述拆成行为准则，而不是身份标签，比如“先确认问题，再提供解决方案”这种。最后想问你一下，你用的7B模型有没有做RLHF？我总觉得纯SFT微调对角色一致性的天花板很明显，如果条件允许，加点偏好优化可能会彻底解决跑偏问题。

固定模板更稳，但得把场景和边界写细，否定示例一定要加，不然模型真学不会拒绝。

动态调整太累，我试过把错误回复直接写进prompt当反面教材，效果比单纯说“别这样”好很多。

固定模板肯定不行，我试过动态拼场景描述和对话历史进去，效果比死板模板稳很多。否定示例别直接写“不要说抱歉”，容易让模型学成绕弯子，不如在正例里给足“先道歉但别太廉价”的多样表达。你试试把角色设定拆成“身份+任务+边界”三段，每段都跟具体样本挂钩，7B吃这套。另外跑偏问题很可能是数据里上下文长度不够，多给几轮对话让模型记住状态。

同感，prompt格式对微调效果的影响真的被低估了。我自己试下来，固定模板比动态调整更稳，但前提是模板里必须包含角色定位、任务描述和输出格式这三层信息，缺一个模型就容易飘。你那个“先道歉再问订单号”的例子其实已经是行为约束了，比单纯说“你是客服”强太多，但我觉得问题可能出在样本多样性上——如果训练集里每个样本的“正确行为链”都太相似，模型就会把“道歉”当万金油，遇到复杂场景就乱套。

关于否定示例，我个人不太建议直接写“不要说××”这种话，因为模型对否定词的敏感度其实很低，反而容易学到别扭的表达。你可以试试把错误回复和正确回复成对出现，让模型通过对比去理解边界，比如训练数据里同一个用户问题，先给一个“标准错误示范”，再给一个“期望回复”，这样微调时loss会更聚焦。另外，你提到7B模型会跑偏，我怀疑是学习率或epoch没调好，角色扮演这种任务很容易过拟合，尤其是客服这种高频重复场景，建议用低学习率加早停，或者试试LoRA只调部分层。

最后想问下，你是把所有数据都套同一个prompt，还是按用户意图分了几类模板？我总感觉动态模板如果分类逻辑清晰，效果会比单一模板好，但前提是分类本身不能错，不然模型会被搞晕。

我之前调的时候也踩过这个坑，固定模板确实省事但效果天花板低，动态加场景描述会更稳。不过否定示例别写太多，模型容易学得畏手畏脚，不如把正确回复的变体多塞几个进去。另外可以试试在prompt里带一小段对话历史，让模型先学会“接话”而不是“背话”。

我觉得你这个问题问到了点子上，微调时候的prompt格式确实比想象中影响大得多。我个人经验是千万别用固定模板，尤其客服这种场景，每句话的真实语境差异太大，模板化反而让模型学会偷懒，直接套话术。你说的那个“先道歉再问订单号”的带例子方式就挺对，但最好每个样本都写清楚角色、场景、用户情绪和期望动作，让模型从样本里自己归纳“什么时候该怎么做”，而不是背一句万能开场白。

至于否定示例，我个人觉得光写“不要说‘我很抱歉’”其实效果有限，模型很笨的，它可能记住了“别道歉”，结果连正常安抚都省了。更好的办法是给正反对，比如同一个用户问题，附上“错误回复：抱歉给您带来不便”和“正确回复：我理解您很着急，马上帮您查订单”，让模型自己对比着学。另外你提到偶尔跑偏，我猜可能是训练数据里“用户抱怨”和“用户单纯提问”的分布不均衡，建议你统计下错误样本，看是不是模型只在特定触发词上切换角色。

还有个细节，动态调整prompt的时候，把历史对话也拼进训练样本里，让模型学会根据上下文延续角色，而不是每次只对单轮输入反应。我之前试过在prompt末尾加一句“记住你是客服，不是聊天机器人”，但效果还不如直接把客服话术的风格特征写进样本。总之多试几种格式，跑个小的验证集对比下loss和人工判断，比纠结理论强。

固定模板加动态场景混着来，否定示例别写太绝对，容易让模型学成绕开道歉。

我个人试下来，固定模板加动态填充具体场景是最稳的，但模板别写太死，把“角色定位+当前任务+输出要求”拆开塞进去，模型反而更容易抓住重点。否定示例真得放，不过别单独写“不要说抱歉”，最好是给一段错误回复再配一段正确回复，让模型自己对比着学，效果比干巴巴的禁止强。还有个坑是别光改prompt，数据里如果客户问题本身太单一，模型照样会跑偏，得保证对话轮次里有变化。

我之前也踩过这个坑，固定模板确实容易让模型学成“复读机”。后来我是把所有样本动态改写成“场景描述+正确话术+错误话术”的格式，负样本直接写进prompt里，模型明显更会绕开雷区了。

另外你说的否定示例，我觉得比单纯强调“不要道歉”管用，最好是给一个具体的长句错误示范，比如“不要说：很抱歉给您带来不便”这种，模型才理解边界。还有个土办法，训练数据里故意混入几个跑偏回复，让模型自己对比，效果也挺惊喜的。

不过7B模型本身能力有限，别指望它能完全人格化，先把客服流程规范性拉满更重要。

我之前调7B模型的时候也踩过这个坑，后来发现固定模板真不如动态调整来得稳。你那种带场景和例子的写法其实方向对了，但我觉得关键是让模型学会“决策链”，而不是单纯背话术——比如把“先道歉再问订单号”拆成“判断用户情绪→选择对应动作”，这样它遇到没见过的表述时也能推理着走。

至于否定示例，我个人经验是别直接写“不要说抱歉”这种指令，模型很容易被“抱歉”这个词带跑偏，反而更爱说。不如把错误回复当成负样本，在数据里明确标记出来，让它在微调时通过对比学区别。或者试试在prompt末尾加一句“请参考以下对话风格”，然后给几个高分的完整对话，让它自己总结规律。

还有个小技巧，我试过在每条样本前面加个简短的身份设定，比如“你是售后专员，用户情绪激动，你应该先共情再解决”这种，比单纯“你是客服”管用得多。另外7B模型对格式很敏感，建议多用轮次对话的形式训练，别用单轮QA，否则它学不会上下文连贯性。

想问你个细节，你训练数据里有没有混合不同场景的比例？我感觉如果客服场景太单一，模型特别容易过拟合，稍微变个句式就崩。要不要试试在prompt里随机插入一些干扰信息，比如用户乱骂人或者突然岔开话题，逼着模型学会保持角色？

固定模板真不太行，我试过把场景、用户情绪、期望动作全塞进去，比单纯角色定义稳多了。否定示例我觉得可以加，但得放在正确示范后面，不然模型容易懵。另外动态调整挺关键的，比如客服场景里用户语气差和正常问问题时，prompt里给模型的引导词就得不一样，不然它老是一副公事公办的腔调。你试试把“不要说”换成“用更自然的语气回应”这种正向描述，7B模型对负面指令的理解经常打折扣。

固定模板容易让模型偷懒，按样本动态加场景和否定示例更稳。你试试把错误回复也写进训练数据里，比单说“不要说”管用。

动态调整比固定模板强，场景细节喂得越多越稳。否定示例别写进prompt，容易让模型学成绕口令，直接给正确话术让它模仿就行。

我试下来觉得prompt里带具体场景确实比纯角色指令强，但固定模板容易让模型过于依赖格式，建议可以按样本类型动态加一点上下文，比如“用户很生气”这种状态描述。否定示例我个人不太建议直接写“不要说”，模型反而容易混淆，不如把正确回复写得更具体，让它模仿那个模式。你那个7B模型会不会是训练数据量不够？我遇到过类似问题，加大数据多样性之后跑偏情况会少很多。

我之前也踩过这个坑，固定模板真不行，尤其7B这种小模型，场景细节比指令本身重要得多。建议你试试把否定示例直接写成对话历史，比单列一条规则管用。另外动态调整prompt不现实，不如把每个样本的“角色设定+场景+目标”都打包进输入，让模型自己学模式。你那个道歉后问订单号的例子，可以再加一步“确认商品是否影响使用”，这样跑偏概率会低很多。

动态调整更有效，固定模板容易让模型偷懒。否定示例别直接写，拿正确话术对比着给，它自己就学明白了。