大佬们，开源模型的system prompt到底怎么调才不“精分”？

这种长上下文里“精分”的情况我也遇到过，尤其是塞了多篇文档之后，模型很容易把不同来源的信息搅在一起。说句实在话，system prompt的权重真没想象中那么大，它更像是一个软约束，上下文一长，注意力被稀释，规则就容易失效。我试过把temperature降到0.1以下，top_p也压到0.8左右，确实能减少胡编，但代价是回答变得很死板，有时候连该提取的信息都漏了。后来发现关键还是得在prompt里给模型一个明确的“不知道”的出口，比如“如果文档中没有明确答案，直接回复‘未找到’”，而不是光说禁止猜测。另外，把长上下文拆成多轮检索再喂给模型，比一次性塞五篇PDF要稳得多，哪怕多花点时间做检索排序。模型本身的推理上限确实摆在那，8B和72B在同样prompt下表现差距很明显，所以别指望靠调prompt让8B干72B的活。实操上我建议先固定temperature=0，把prompt改到最简，再逐步加约束，看哪个版本最稳，别一次叠太多规则。

我这边用Qwen2.5-72B也遇到过，长上下文一塞多就开始胡编。后来发现光靠system prompt真压不住，得把temperature降到0.2左右，top_p也收一收。另外可以试试在每段检索内容后面加一句“以上片段仅供参考”，让它别把RAG结果当圣旨。