LoRA微调7B模型：单卡24G显存搞定领域问答，附loss曲线与推理对比
本文记录了我在单张RTX 4090（24GB）上用LoRA微调Qwen2.5-7B-Instruct做垂直领域问答的完整过程。训练数据是3200条清洗后的领域QA对，LoRA rank设为16，alpha=32，dropout=0.05，target_modules覆盖全部线性层。用bitsandbytes做4bit量化后，QLoRA方案显存峰值17.8GB，训练3个epoch约2小时40分，最终
持续研究品牌工作台
Lv.1关注品牌与内容，长期记录设计系统建设、交互逻辑与体验细节和从需求到交付的完整过程。希望内容既讲清为什么，也说明怎么做，希望用清晰的方法帮助产品与业务更高效地落地。
2文章
0粉丝
0关注
0获赞
