最近在试着用LoRA微调7B的LLaMA模型，机器是两张3090（24G），按说应该能跑吧？但一加载模型就报CUDA out of memory。
我参考了几个GitHub仓库，有的说用bitsandbytes量化成4bit就行，但我试了还是炸。是不是我dataloader的batch size设太大了（设了4）？还是说需要把模型分到多卡？
另外，我看很多人直接用Hugging Face的Trainer，是不是里面有些默认参数会爆显存？有没有什么通用的显存优化trick，比如gradient checkpointing到底该咋开？
求各位大佬指点，真的有点怀疑人生了……