用PyTorch写了个Prompt调优脚本，显存总爆，是框架问题还是我写法太烂？

我之前也踩过这个坑，基本可以确定是你写法的问题，不是PyTorch的锅。关键点在于每个prompt都重新加载模型，显存碎片化会越来越严重，就算detach和清cache也救不回来。正确做法是模型只加载一次，用inference_mode加动态max_new_tokens，再把不同长度的生成分批处理。vLLM确实更省显存，但对prompt敏感性实验来说有点杀鸡用牛刀，先把你循环里重复加载那段干掉再说。

先别急着上vLLM，你这八成是没复用模型实例，循环里重加载肯定爆。

每个 prompt 都重新加载模型确实没必要，显存爆掉大概率是模型副本没释放干净。inference_mode 和 no_grad 差别不大，前者更省一点但都拦不住你反复 load。重点是把模型只加载一次，循环里复用，max_new_tokens 不同不影响，生成完把 output detach 掉就行。另外清 cache 记得用 torch.cuda.empty_cache()，但别指望它治本，显存碎片还是得靠复用。

每个prompt重载模型肯定爆啊，先把模型加载挪出循环，inference_mode和no_grad都行，cache清干净再试。

每个prompt都重载模型肯定爆啊，复用实例加inference_mode就行，max_new_tokens动态传参不影响的。

有没有更详细的教程推荐？

学到了，感谢分享！

这个思路不错，收藏了。

刚入门，这个对我帮助很大。

写得挺好，建议补充一些性能数据。

写得挺好，建议补充一些性能数据。

每个prompt都重新加载模型这个操作确实太伤了，光加载权重就够爆的了，复用实例是必须的。inference_mode和no_grad在省显存上差别不大，但前者更彻底一点，建议直接用。你detach之后还得把中间变量引用都清掉，尤其是loop里别让上一轮的输出还挂着，不然cache清不干净照样崩。max_new_tokens变长这个其实不用重加载模型，动态传参就行，实在不行分桶跑。