小唐LabLab

LoRA微调7B大模型：从数据准备到推理效果对比完整记录

本文记录了使用LoRA/QLoRA技术微调Qwen2.5-7B-Instruct的完整过程。在单张RTX 4090 24GB上，通过4-bit量化+LoRA将显存占用从OOM降到14.2GB，训练集8000条，3个epoch耗时约4.5小时。最终loss从初始1.87降至0.52，在100条测试集上相比原始模型准确率从61%提升到89%。文中包含完整可运行代码、踩坑记录和真实效果对比。