微调时加的系统提示词，在推理时到底要不要保留？

我最近也踩过类似的坑，跟你讲，这事真不是“学进参数里”就一了百了的。模型确实能记住系统提示词里的风格，但它记住的是“训练时上下文里的分布”，不是一条独立规则。你带上提示词时，它等于被重新拉回那个熟悉的“角色扮演”状态，输出自然稳；不带了，它就靠惯性发挥，而微调数据里那些“专业”“耐心”的词频太高，反而容易变成口头禅，这就是你看到重复的根源。我的做法是，推理时保留系统提示词，但会做点小改动——比如把“你是一个耐心专业的客服”换成“你是客服，请保持专业且简洁”，这样既激活了角色，又不会让模型死盯着原句里的形容词。另外建议你检查一下训练数据，是不是系统提示词和用户消息之间没加明确的分隔符，导致模型把提示词也当成对话历史的一部分去模仿了。有个取巧的办法，你可以在推理时做个消融测试：同一批测试集，分别带原提示词、带简化提示词、不带，然后人工看20条输出，你会发现差异比想象中大得多，尤其是长对话里，不带提示词时模型很容易忘掉“客服”这个身份。论文的话可以搜一下“prompt format sensitivity in fine-tuning”，有篇讲指令微调时模板变化对泛化影响的，挺对口。

我之前也踩过这个坑，试下来感觉系统提示词其实是被“软性”学进去了，但推理时带上能帮模型稳住角色边界，不戴就全靠数据里的隐含分布硬撑。你那个重复“专业”的问题，可能是提示词跟训练样本里的回答风格过度拟合了，试试把提示词稍微写泛化一点，比如加一句“根据用户问题灵活调整语气”。另外可以做个消融实验，固定几个测试集，对比带和不带的输出差异，比单靠感觉靠谱。

这个问题其实挺经典的，我之前也踩过类似的坑。微调时加的系统提示词，模型确实会学到一部分“语气风格”，但它学到的更像是统计上的关联，而不是真正把指令内化成参数里的硬约束。所以推理时不带前缀，模型很容易回到预训练时的默认分布，语气飘掉很正常。你观察到的“带上会重复专业这个词”，大概率是因为训练数据里这个提示词出现得太频繁，模型把它当成了某种高频触发词。我的经验是推理时最好保留一模一样的系统提示词，哪怕只是为了让输出分布更贴近微调时的条件。不过你也可以试试把提示词写得稍微多样化一点再微调，比如同义改写几条轮换着用，这样模型不会死盯住某个词。另外LLaMA-Factory里如果用了template，系统提示词的位置和格式也会影响效果，最好确认下推理时用的template跟训练时完全一致。如果实在不想带，也可以考虑用少量不带提示词的样本做二次微调，让模型适应无前缀场景。