Qwen2.5-72B推理时system prompt稍微改几个字，输出风格就崩了？

试试temperature调低到0.5，高熵采样放大prompt扰动，这现象在开源模型里挺常见的。

说实话这问题我踩过好多次坑，尤其是Qwen系列对system prompt里的形容词特别敏感，加个修饰词可能就改变注意力分布了。你试试把temperature降到0.5以下，或者干脆把system prompt精简成纯指令句式，比如“输出严谨格式的回答”，效果会稳很多。另外vllm的采样参数里，top_p 0.9配合0.7温度本来就偏激进，对这种短prompt改动放大效应很明显，建议先固定一个基线prompt做回归测试再调别的。模型稳定性倒不至于，更多是解码策略对语义扰动的放大，用greedy或加few-shot示例能缓解。

这个现象我太有同感了，之前用Qwen系模型做结构化抽取时也踩过类似的坑，把“严格按JSON输出”改成“严格按JSON格式输出”，结果它突然开始疯狂加注释。我觉得这未必是模型稳定性差，更像是它对某些词触发的注意力分布特别敏感，尤其“且”这种连接词可能把上下文权重带偏了，导致采样时路径漂移。你说的repetition_penalty没用也正常，因为根源不在重复惩罚，而在于生成概率的峰值被小词干扰了。我自己试过比较有效的办法是固定system prompt为模板，只改内部变量，比如把“严谨度=高”这种参数化写法，而不是每次重写自然语言，输出会稳很多。另外可以试试把temperature稍微降到0.5左右，配合top_k=40这样的截断，有时候能压住那种“灵感爆发式”的跑偏。不过说实话，如果只是微调几个字就崩，可能也说明prompt里那个“严谨”本身就和模型某些训练样本绑定得太紧了，换个更中性的描述词试试，比如“回答需逻辑清晰”，说不定反而稳定。

这种敏感度我这边也遇到过，不完全是你的参数问题。system prompt哪怕只改几个字，相当于把整个条件分布重新锚定了一次，尤其72B这种大模型对前缀语义特别敏感，输出风格漂移很正常。你可以试试把temperature降到0.5左右，同时把system prompt写得更具体一点，比如直接规定输出格式和语气，别用“专业”这种模糊词。另外vllm的版本和量化方式也有影响，我之前换了个量化权重，同样的prompt稳定性差很多。

这问题我也遇到过，Qwen2.5对system prompt确实挺敏感的，尤其是指令里加了修饰词后，模型有时会过度关注那些额外信息，反而忽略原本的格式约束。你试试把temperature降到0.5左右，或者干脆用few-shot在system里塞一两个标准回答样例，比调repetition_penalty管用。另外vllm部署时注意下enable_prefix_caching有没有开，有时候缓存命中异常也会导致输出飘。