LoRA微调7B模型显存总爆，是batch size问题还是我配置错了？

显存一直涨大概率不是batch size的事，bs=1还能OOM基本就是激活值和优化器状态没管住。fp16配上没开gradient checkpointing，7B模型512长度下激活能吃掉不少，建议先把gradient checkpointing打开试试。另外LoRA虽然冻结了底模，但embedding和lm head的梯度还是会算，可以把这两部分也设成requires_grad=False，能省一截。还不行就看看是不是数据里有些超长样本没截断，被pad到特别大。

没开gradient checkpointing基本必炸，7B激活值很吃显存，先开上再试试。

没开gradient checkpointing基本就是元凶，7B模型fp16下光激活值就能吃不少，序列512虽然不长但代码任务token密度高。另外peft默认可能把优化器状态也算了进去，你试试gradient_checkpointing_enable()加上，bs=1、ga=8应该能稳。还爆的话把optim改成adafactor或者8bit adam，显存能再降一截。

没开gradient checkpointing基本就是元凶，7B激活值512长度很吃显存。先把它打开，再把batch size压到1试试。