用prompt调教开源模型做代码生成，效果总是不稳定怎么办？

小模型对prompt确实敏感，试试把检查步骤拆成单独一步让它先做，别塞一个prompt里。

加个“必须逐步输出思考过程”的指令试试，我这边用下来对代码结构稳定不少。

小模型确实对 prompt 更敏感，指令和示例稍微动一下就飘，这很正常。可以试试用 few-shot 时把示例顺序固定，或者干脆在 system prompt 里把约束写死，比如“必须包含检查和填充两步”。还有个办法是让它先输出伪代码再写实现，中间多一道自检步骤会稳不少。

小模型确实更吃prompt，试试把检查步骤写成固定输出格式，比如先输出"检查"再输出"填充"，会稳不少。

我一般会先让模型只输出步骤注释，确认逻辑对了再让它补代码，这样能拦掉不少跑偏。小模型确实对示例顺序和措辞更敏感，尤其代码任务，示例里最好把关键约束单独拎出来强调。另外固定seed和temperature调低也有帮助，别指望它一次到位。

这个现象我也遇到过，感觉跟模型规模关系挺大的。Qwen2.5-Coder 7B这种小模型对prompt的注意力分配确实不如闭源大模型稳定，你换个示例顺序它可能就把后面的指令权重放大了，前面的检查步骤直接被忽略。我自己的经验是，与其在prompt里塞示例，不如把逻辑拆成多轮对话，先让它输出检查缺失值的代码，确认没问题再让它写填充部分，这样每步的上下文都聚焦在一个任务上。另外温度参数调低一点也有用，0.2左右比默认值稳不少，但代价是生成多样性下降。还有个偏方是在prompt里用注释形式的伪代码当骨架，比如先写# step1: check nulls # step2: fill，让它按这个结构填，比自然语言描述约束力强。不过话说回来，小模型做代码生成本身就有点碰运气，关键脚本我还是会手动过一遍逻辑再跑。

学到了，感谢分享！

刚入门，这个对我帮助很大。

有没有更详细的教程推荐？

我之前也踩过这个坑，Qwen2.5-Coder确实对示例顺序挺敏感，后来我把示例改成“先检查再填充”的完整流程，并且明确在指令里写“必须包含缺失值检查步骤，否则视为错误”，情况好了不少。你可以试试把约束写得更硬一点，别指望模型自己脑补。另外温度调到0.2以下也会稳一些，但太低了代码容易死板。这种小模型确实比GPT-4o那种难伺候，得多试几组prompt对比着来。

小模型对prompt确实敏感，但更关键的是代码生成任务本身对格式和步骤顺序要求高，你那个“先检查再填充”的例子，模型可能把示例当成了可选的参考而不是必须遵循的流程。我试过把关键步骤拆成带编号的指令，比如“1. 检查缺失值 2. 输出报告 3. 根据报告填充”，比给示例管用。另外温度调到0.2以下，再固定一个输出模板让它填，稳定性会好不少。Qwen2.5-Coder 7B这个级别做数据清洗脚本够用了，但别指望它自己补全隐含逻辑，该写死的约束就得写死。