为什么我调了prompt，大模型输出还是不稳定？求靠谱方案

温度调到0.1还飘，说明问题多半不在采样参数上。大模型本质上是按概率抽token，哪怕温度很低也只是让分布更尖锐，并不等于每次都走同一条路，尤其是你跑在vLLM上，batch里其他请求的调度、KV cache的复用这些都可能让同一输入在不同时刻落到略微不同的计算路径上。top_p和repetition_penalty确实值得一起看，前者限制候选集，后者压制重复，但调它们更多是影响风格，不是根治不稳定。真正容易被忽略的是prompt里的few-shot示例顺序，模型对示例的排列挺敏感的，顺序一换，它学到的“模式”就变了，输出语气跟着变很正常。想稳一点，可以试试把示例固定成一套顺序并且尽量同质，同时把system prompt里的约束写得更硬，比如明确输出格式和拒答边界。另外客服场景其实可以考虑加一层后处理或者用更小的专用模型兜底，别指望一个通用大模型在低温度下就完全 deterministic。

temperature低不代表输出稳定，建议把top_p也压到0.8以下，few-shot示例顺序确实会影响结果。

temperature低只管采样随机性，管不了模型本身对上下文的理解波动，建议试试固定seed加top_p=0.9一起调。

写得挺好，建议补充一些性能数据。

temperature 0.1还不稳其实挺常见的，很多人以为调低就万事大吉了，但采样只是随机性的一部分来源。你few-shot示例的顺序确实会影响输出，模型对靠后的示例往往更敏感，可以试试把最关键的示例放最后，或者干脆换个顺序跑几组对比一下。top_p和repetition_penalty也得一起看，temperature低的时候top_p如果还是默认1.0，长尾token还是有机会被选中，把它压到0.9左右会更稳。幻觉那块我猜可能跟上下文长度和模型本身的知识边界有关，system prompt里“不要编造”这种否定式指令效果其实一般，不如改成“如果不知道就说不知道，并转人工”这种正向引导。还有个容易忽略的点是vLLM的batch调度，并发高的时候不同请求之间可能有微妙的相互影响，你可以先单请求串行测一下排除这个变量。真要追求稳定，除了调参还可以考虑加一层后处理校验，比如关键词过滤或者用小模型做一致性检查，纯靠prompt很难做到100%可控。