本地部署Qwen2.5后Prompt怎么写都不稳，是温度参数没调对吗？

我本地跑Qwen2.5-7B做信息抽取时也遇到过类似情况，温度调到0.1确实能减少发散，但没法根治“多嘴”的毛病，因为问题往往不在采样参数上，而在模型对指令优先级的理解。把任务全塞在user消息里，模型容易把它当成对话上下文而不是硬约束，尤其小模型对“只输出JSON”这种否定式指令的执行力本来就偏弱。我现在习惯把角色、输出格式、禁止项都写进system prompt，user里只放待处理文本，并且用类似“输出必须是一个JSON对象，第一个字符是{，最后一个字符是}”这种正向、可验证的描述，比单纯说“不要解释”管用很多。few-shot也有讲究，示例里千万别出现任何自然语言寒暄，否则模型会模仿那种风格。另外可以试试在推理时加个后处理，比如用正则截取第一个完整JSON块，能兜住不少意外输出。如果还飘，可以考虑用outlines或lm-format-enforcer这类结构化解码工具，直接从logits层面约束格式，比反复调prompt省心。

7B模型做分类确实容易这样，我试过把指令挪到system里会稳不少，user只放待分类文本。另外temperature 0.1对分类来说可能还是偏高，可以试试贪心解码或者设成0。还有个坑是max_tokens别给太大，不然它容易自由发挥。few-shot示例最好固定格式，连标点都别变。