用LoRA微调7B模型，显存够但训练速度极慢正常吗？

5-6 steps/s对于7B模型单卡4090来说其实算正常范围了，尤其你还没开flash attention。网上那些十几steps/s的大概率是用了bf16混合精度+flash attention，再加上对输入做了padding对齐或者用了梯度累积来变相提高吞吐。你这配置里transformers+peft本身没问题，但建议把attention实现换成flash，能明显提速，另外确认下是不是用的torch.compile，这个对某些模型也有奇效。还有个小细节，你序列长度512但batch size=1，显存利用率其实不高，可以试试梯度累积加到8，然后把batch size提到2或4，吞吐会上去不少。至于loss在降就不用太焦虑，7B模型收敛速度本来就不快，关键是看每个step的loss下降趋势是否平滑。如果实在想对比，可以装个unsloth库，它对LoRA训练做了很多底层优化，同配置下速度能快30%以上。不过话说回来，训练速度只要稳定且显存不爆，就优先关注loss曲线和验证集效果，别太纠结那几个step数。

没开flash attention肯定慢啊，加上它速度能翻倍，再试试gradient checkpointing。

没开flash attention肯定慢啊，先把这个加上试试，序列512也不长。