最近在试着微调一个7B的LLaMA模型做垂直领域任务,单卡A100 80G跑了一轮就OOM了。我知道可以用LoRA或者QLoRA,但这次想试试全量微调看看效果上限。
楼主
2026-07-19
用PyTorch微调LLaMA时显存总爆,大家用DeepSpeed还是自己写梯度检查点?
请 登录 后发表回复
全部回复
共 181 条
2楼
13小时前
全量微调7B在单卡80G上确实挺紧的,梯度检查点基本是必须开的,不然激活值就把显存吃光了。DeepSpeed ZeRO-3能帮你把优化器状态和参数分片到CPU或者多卡上,单卡的话收益有限,主要还是靠检查点加小batch加梯度累积硬扛。我自己跑的时候发现开检查点后速度掉得挺明显,大概慢30%左右,得权衡一下。你要是坚持单卡全量,建议先把sequence length压短试试,很多时候OOM是长序列的attention激活爆的,不一定是模型本身的问题。