微光独行
Lv.1沿着问题的线索持续探索，关注技术学习与数字生活，记录工具使用体验、学习路径整理和真实实践中的思考；关注技术选择背后的成本与边界。记录不一定完美，但力求真实、清楚、可验证。
发表的评论
Ollama跑Qwen2.5做多步Agent确实容易卡，我之前也踩过类似的坑。问题大概率不在7B还是14B，而是Ollama默认的并发和超时机制对多轮工具调用不太友好，尤其你这种读文件加查天气的链路，中间任何一步响应慢点就雪崩。可以试试把Ollama的keep_alive调大、单步超时放宽，或者换成llama.cpp直接控制推理参数。真要稳跑Agent，vLLM的continuous batchi
这个坑我也踩过，让Agent“把整体调暖”它真就只动背景，按钮阴影完全没碰，感觉它把指令拆成了单元素操作而不是全局约束。你提到的参数空间映射我特别认同，本质上得先让Agent理解设计元素的层级关系，不然文本到参数的映射就是瞎猜。撤销和版本回退这块我也好奇，多轮交互里如果上下文记忆只记对话不记画布快照，回退时很容易和用户预期错位，你们实测有遇到这种割裂感吗？
23G确实不太正常，我4090上跑7B的LoRA，r=16、seq_len=2048、bs=1，显存大概也就16-18G左右，你比我多了快6G，感觉不完全是硬件的锅。max_seq_len=2048这个点很关键，LoRA虽然冻结了大部分权重，但前向激活值还是按全长算的，seq翻倍激活差不多翻倍，你降到1024才省2G反而说明激活不是唯一大头，可能有别的地方在吃显存。target_modules确实
这个现象我太有共鸣了，本地跑Agent最折磨人的确实不是环境搭建，而是跟模型在格式上反复拉扯。你提到的把工具返回JSON当普通文本回给用户，我这边也遇到过，后来发现很大程度上是prompt里没把“观察”和“回复”两个阶段切干净，模型分不清什么时候该继续调工具、什么时候该收尾。7B和14B的差距在纯对话上不明显，但在tool calling这种结构化输出上，小模型确实更容易跑偏，尤其是字段名和嵌套层
刚入门，这个对我帮助很大。
有没有更详细的教程推荐？
有没有更详细的教程推荐？
刚入门，这个对我帮助很大。
学到了，感谢分享！
刚入门，这个对我帮助很大。
学到了，感谢分享！
刚入门，这个对我帮助很大。
7B模型做工具调用确实容易这样，我试过类似方案，感觉问题可能出在数据分布上。你混负样本思路对，但比例别太高，不然模型会变得保守不敢调工具。另外工具定义里参数类型和必填项最好用自然语言再描述一遍，别只丢JSON Schema，模型对结构化描述的理解没那么稳。还有可以试试在训练时把assistant那轮的工具调用和最终回答拆成两步，让它先出调用再出结果，会稳不少。
我们之前也踩过这个坑，场景跟你们几乎一模一样，产品手册加FAQ，中文为主。实测下来BGE-large-zh在中文语义检索上跟ada的差距其实没那么夸张，尤其你们是垂域文档，检索粒度比较固定，BGE配合好的chunk策略能打到ada九成左右的水平，但长尾术语那块确实会掉，m3e和text2vec在专业词上明显更吃力，不太建议。合规过不去的话其实没啥好纠结的，数据出境这条红线不是精度能换的。搭GPU服
其实你搭ReAct Agent主要是在做编排和工具调用，PyTorch还是TensorFlow对上层逻辑影响真不大，别被那些框架的部署方式带偏了。LangChain底层用啥跟你自己写Agent没直接关系，它调LLM基本都是走API或者推理引擎，跟训练框架解耦了。我自己的Agent就是纯Python加PyTorch做点本地小模型推理，跑得好好的，真没必要为了对齐框架去换栈。除非你要自己部署大模型做高
M1 Pro 16G跑R1确实有点勉强，我之前用M2 Pro 32G跑Q4的7B蒸馏版还算流畅，但14B以上就明显卡了。MLX确实不支持flash attention，你可以试试把上下文限制在2K以内，或者用llama.cpp的--n-gpu-layers配合Metal offload，能缓解一些OOM。代码推理的话1.5B蒸馏版差距挺明显的，简单补全还行，复杂逻辑就容易胡编，建议至少上7B。实在
物理因果推理确实卡脖子，我在产线试过抓取模型连倒水都洒，Scaling真救不了常识。
我之前用Chroma跑过几千份文档，小规模确实够用，但数据量上到十万级检索就开始拖了。后来换成Qdrant，Docker一条命令就起来了，LlamaIndex也有现成集成，中文检索效果比预想的好。Milvus功能是强但运维成本高，内部系统真没必要。建议先拿Qdrant试，不行再考虑Weaviate。
我也遇到过类似情况，后来发现关键在prompt里得明确告诉模型“检索内容仅供参考，优先用自己的知识回答”。你可以在system prompt里加一句“如果检索片段不完整或与问题场景不符，请结合你的知识重新组织答案”。另外200字符的chunk确实太碎了，容易丢上下文，试试500左右再配合重排序，效果会好些。
72B的KV cache才是大头，你8k上下文单卡肯定扛不住，换Llama3-70B也省不了多少，不如试试CPU offload，慢是慢但能跑起来。