最近在尝试微调一个7B的LLaMA模型做文本分类，用的LoRA，batch size设到2就显存不够了（RTX 4090 24G）。我看别人说LoRA很省显存，甚至能跑13B，为啥我连7B都跑不动？代码里用了torch.compile和gradient checkpointing，但好像没改善多少。是不是我模型加载方式有问题，还是说需要用bitsandbytes做4bit量化？另外，我用的是Hugging Face的transformers库，Trainer里设的fp16=True，但loss下降特别慢，跟没开差不多……求大佬指点一下，是不是我哪里搞错了，还是说24G本来就不够微调7B？先谢过！