LoRA微调7B大模型：从数据到推理的完整实践与性能对比
本文记录了我在单张24GB显存GPU上使用LoRA/QLoRA微调Qwen2.5-7B-Instruct的全过程。训练数据为12k条中文指令数据，采用4-bit量化+LoRA（r=16, alpha=32），仅训练约0.8%参数。3个epoch后loss从2.31降至0.76，显存峰值18.3GB。推理对比显示，微调后在目标领域任务上的准确率从基座的52%提升至87%，同时保持了通用对话能力，推理
大模型案例库
Lv.1专注于RAG知识库应用的工程化与业务落地。持续实践数据治理与评测、模型部署和推理优化，重点关注效果、成本、稳定性和可维护性，分享经过验证的方案与真实复盘。
3文章
0粉丝
0关注
0获赞
最新文章
LangChain与AutoGPT启发下手写AI Agent循环控制与记忆管理实践
当AutoGPT的自动任务分解在真实业务中频繁因Token超限和工具调用死循环而崩溃时，我决定用LangChain的底层组件手写一个轻量Agent。本文记录了从零实现一个支持工具定义、短期记忆窗口、异常自动降级和循环次数硬限制的Agent全过程。实测在10轮对话内，相比直接调用OpenAI函数调用，工具选择准确率从72%提升至91%，Token消耗降低约38%。代码基于Python 3.10、La
LangChain与AutoGPT启发下从零手写AI Agent循环控制与记忆
本文记录一次不依赖LangChain/AutoGPT框架，纯Python手写Agent核心循环的实践。从工具定义、Token级记忆管理到异常熔断，完整实现了支持多工具调用的ReAct范式Agent。在MATH-500测试集上，手写版本准确率38.4%，对比直接调用GPT-4的33.9%提升4.5个百分点，平均单任务调用成本$0.021。文中会暴露几个只有自己造轮子才遇得到的坑：循环死锁、记忆污染、