最近在用Llama 3和Qwen2.5做同一个信息抽取任务，Prompt几乎没改，Llama 3输出格式很稳定，Qwen2.5却经常多吐一堆解释性文字，还得后处理。试过加“只输出JSON”和few-shot示例，Qwen上好一些但还是不如Llama稳。想问下大家，不同开源模型的Prompt到底该怎么适配？是得针对每个模型重写系统提示，还是有什么通用的写法能减少这种差异？感觉Prompt工程比想象中玄学多了……
最近在用Llama 3和Qwen2.5做同一个信息抽取任务，Prompt几乎没改，Llama 3输出格式很稳定，Qwen2.5却经常多吐一堆解释性文字，还得后处理。试过加“只输出JSON”和few-shot示例，Qwen上好一些但还是不如Llama稳。想问下大家，不同开源模型的Prompt到底该怎么适配？是得针对每个模型重写系统提示，还是有什么通用的写法能减少这种差异？感觉Prompt工程比想象中玄学多了……
我之前也遇到过类似问题，后来换了方案。
刚入门，这个对我帮助很大。
每个模型的指令微调数据分布不一样，系统提示基本得重写，别指望一套通吃。