LoRA微调7B模型全流程：数据构造、训练配置与loss曲线分析
本文记录了在单张RTX 4090（24GB）上使用LoRA微调Qwen2.5-7B-Instruct的完整过程。训练数据为1.2万条垂直领域问答对，采用LoRA rank=16、alpha=32配置，配合bitsandbytes 4bit量化（QLoRA）将显存占用压到18GB以内。训练3个epoch耗时约6.5小时，最终loss从1.83降至0.62。推理对比显示，微调后模型在领域术语准确率和格
网络今天稳定工程日常
Lv.1在系统报警之前努力保持冷静。主要研究网络技术，记录开发效率提升、问题排查与调试以及那些看似简单却很容易踩坑的问题。欢迎一起交流，也欢迎不同观点。
4文章
0粉丝
0关注
0获赞
最新文章
RAG检索增强生成优化：从固定分块到混合重排的完整调优记录
本文记录了一个企业知识库RAG系统（检索增强生成）的真实优化过程。初始方案采用512字符固定分块、text-embedding-ada-002和纯向量检索，在200条人工标注问答集上Top-5召回率仅61.5%。通过改为语义分块+重叠滑窗、切换BGE-M3嵌入模型、引入bge-reranker-v2-m3重排三阶段优化，最终Recall@5提升至89.5%，MRR从0.48升至0.79，答案准确率
LangChain与AutoGPT双轮驱动：手写Agent循环控制与记忆管理全拆解
本文基于LangChain 0.1.0与AutoGPT理念，手写一个支持工具调用、记忆管理与错误恢复的AI Agent。通过20行核心代码实现ReAct循环，对比LangChain官方AgentExecutor与纯手写方案的性能差异（任务完成率从67%提升至89%）。详细拆解工具定义Schema、滑动窗口记忆、异常重试与最大迭代限制的实现细节，并给出实际运行中的Token消耗与耗时数据。
LoRA微调7B模型实战：从数据准备到推理效果对比
本文记录了使用LoRA技术微调Llama2-7B模型的全过程。面对领域问答任务，全量微调需要约56GB显存，而LoRA仅需14GB。我们基于HuggingFace Transformers 4.31.0 + PEFT 0.5.0 + bitsandbytes 0.41.0，在单卡A100上完成微调。训练loss从3.2降至0.85，BLEU得分相比Base模型提升21%。文章包含完整代码、参数配置