LoRA微调7B模型全流程：数据、配置、Loss与推理对比
本文记录了一次真实的LoRA微调实践：在单张24GB显卡上对Qwen2.5-7B-Instruct进行领域微调，训练数据约3200条，采用LoRA（r=16, alpha=32）配合4bit QLoRA量化，训练3个epoch耗时约2.5小时。文章完整给出数据格式与清洗脚本、训练超参配置、loss曲线走势分析，并用同一组测试prompt对比微调前后的推理输出，附上显存占用与吞吐数据，供想动手微调7
小唐LabLab
Lv.1Coder，长期记录真实项目中的技术选择，主要关注软件开发，分享开发效率提升、代码实现与工程实践及真实项目复盘；相信长期积累胜过短期追热点。记录不一定完美，但力求真实、清楚、可验证。
2文章
0粉丝
0关注
4获赞
