LoRA微调7B中文医疗问答模型全记录：从loss震荡到推理效果提升38%
在消费级显卡（RTX 3090 24G）上，我用LoRA微调了Qwen2-7B-Instruct，目标是让它能回答专业中医方剂问题。基线模型准确率仅52.3%，经过单卡3小时训练（batch_size=4，lr=2e-4，rank=8），准确率提升到72.1%，且推理速度几乎无损。本文记录整个实践过程：数据清洗时发现“标签污染”问题、训练中loss在step 2000后剧烈震荡的排查、以及最终通过
持续研究项目管理实践笔记
Lv.1关注项目管理，长期记录数字化方案落地、项目推进与复盘和从需求到交付的完整过程。不追求堆砌概念，只记录验证过的经验，希望用清晰的方法帮助产品与业务更高效地落地。
1文章
0粉丝
0关注
0获赞