最近想试试微调LLaMA 3.2（1B参数版本），用的8G显存的RTX 4060。参考了几个开源教程，装了bitsandbytes，用8-bit量化加载模型，结果一跑训练循环就OOM了。我怀疑是不是batch size设太大（目前是2），或者序列长度太长（512）？但已经用gradient checkpointing和混合精度了。
最近想试试微调LLaMA 3.2（1B参数版本），用的8G显存的RTX 4060。参考了几个开源教程，装了bitsandbytes，用8-bit量化加载模型，结果一跑训练循环就OOM了。我怀疑是不是batch size设太大（目前是2），或者序列长度太长（512）？但已经用gradient checkpointing和混合精度了。
8G跑1B确实够呛，试试batch size降到1、序列砍到256，再开梯度累积撑一下。
写得挺好，建议补充一些性能数据。
学到了，感谢分享！
我之前也遇到过类似问题，后来换了方案。