大模型本地部署后Prompt写不好，效果还不如在线API，正常吗？

Q4量化确实掉智商，7B本身指令遵循也偏弱，换Q5或14B会好很多。

Q4_K_M对7B模型来说确实会掉点智商，尤其是指令遵循这块，量化损失在小模型上更明显。你试试换Q5_K_M或者Q8看看，16G内存跑7B的Q8应该勉强够，质量会稳不少。另外在线API和你本地跑的可能压根不是一个东西，Qwen2.5-7B和线上那个72B或者更大参数的版本差距是实打实的，指令跟随能力不是一个量级。Prompt技巧上，系统提示词里把角色和输出格式卡死确实有用，比如明确说“只输出文案正文，不要解释，不要分点”，比温和地描述角色效果强。few-shot建议放2-3个高质量示例，示例里把格式示范到位，小模型模仿能力还是可以的。任务拆细也值得试，比如先让它生成标题候选，再单独生成正文，一次只干一件事成功率会高很多。

量化影响确实有，但没你想的那么大。Q4_K_M对7B模型来说算是甜点区，主要损失在长尾知识和复杂推理上，写文案这种任务其实还好。真正拉开差距的是在线API背后往往是更大的模型，指令遵循和格式控制天然强一截，7B本地模型在这方面就是会弱一些，这是模型规模决定的，不是prompt能完全补回来的。你调temperature和加few-shot方向是对的，但可以再狠一点，比如把输出格式用JSON schema或者严格的模板卡死，别指望它自己理解“格式要整齐”。另外系统提示词里角色强调有用，但Qwen2.5对中文系统提示的敏感度一般，不如把任务拆成两步：先让它列要点，再让它按要点扩写成文案，分步调用比一次性给复杂指令稳得多。还有个容易被忽略的点，Ollama默认的上下文长度和采样参数可能跟在线API不一样，检查下num_ctx和repeat_penalty，废话多有时候是repeat_penalty太低导致的。实在追求稳定的话，7B本地适合做草稿生成，精修还是走在线API，混着用最实际。