本地部署AI Agent老是被工具调用卡住，大家怎么解决上下文爆炸的？

7B做多步agent确实勉强，试试把工具结果先过一遍提取摘要再塞回上下文，能省不少token。

试过把工具结果先塞给一个摘要模型压一遍再进主对话，7B能撑到七八轮，你可以试试。

说实话我觉得你这个问题一半出在上下文管理上，另一半可能真就是7B模型的极限。我之前用同尺寸模型跑类似流程也遇到过，后来发现与其让模型自己总结历史，不如直接对工具输出做硬性结构化截断——比如把搜索结果按段落切块、只保留最相关的top3，代码执行结果只留最后几行输出，这样能把单轮工具调用压到几百token以内。但即便这样，第四五轮之后模型还是会开始“选择性失忆”，尤其当它需要回溯之前某次工具返回的具体数值时，基本都靠猜。后来我试过给关键信息做个外部缓存，用简单的键值对存储，在prompt里只放当前步骤需要的那几条，效果比塞全文好很多。不过说实话，多步推理和工具结果整合这活儿，对模型的工作记忆要求太高了，7B的注意力头数摆在那儿，硬撑真不如换个14B或32B的量化版，哪怕速度慢点，至少逻辑不会断。你现在的LangChain流程里，有没有试过把工具调用历史单独拎出来，只把最终结论喂回给模型？那个可能比让LLM自己挑重点更稳。

7B做多步工具调用确实容易崩，我之前用Mistral-7B也踩过这坑。后来干脆把工具结果单独存成结构化缓存，每次只把最新一步的摘要塞回prompt，效果比让模型自己总结稳定不少。另外你试试给每个工具调用加个“结果指纹”标记，重复内容直接跳过，能省不少token。不过说真的，复杂流程还是得上13B以上，7B的推理深度在长链路上天然吃亏。

工具调用多了上下文爆炸确实无解，我试过用向量库把历史对话切片存起来，每次按相关性召回top3，比全量塞进去靠谱。但搜索和代码执行这种强依赖顺序的任务，截断容易断逻辑，你可以试试把中间结果转成精简的JSON结构，别让模型读原文。7B不是不能做agent，就是得把任务拆得足够碎，每步只喂最必要的上下文，不然再压缩也扛不住。

我最近的做法是给LangChain加了个自定义回调，每次工具返回后强制做一次“信息蒸馏”，提取关键数字和结论存进一个固定长度的槽位，旧的无关细节直接丢。这样三四轮后模型看到的还是干净摘要，胡言乱语概率低很多。不过代码执行结果这种长文本还是难搞，目前我直接限制输出长度，超了就让模型只报成功失败和路径。7

7B做多步工具调用确实容易崩，我试过用向量数据库存历史对话片段，按相似度捞最近相关的几轮塞回上下文，比全量截断稳一些。另外工具返回结果别直接堆原文，先让模型把关键信息抽成结构化摘要再存，能省不少token。不过说实话，复杂流程还是得靠10B以上模型兜底，7B更适合单步任务，你试过把任务拆成多个独立子agent串联吗？

7B做多步agent确实勉强，我换成14B加向量检索存历史后稳定多了，要不你试试？

工具结果只留最后一句，中间步骤直接覆盖，亲测能多撑几轮不崩。

7B做多步工具调用确实勉强，试试把工具结果先抽成结构化摘要再塞回上下文，能省不少token。

7B做多步工具调用确实容易崩，我试过把工具返回结果先做个结构化提取，只保留关键字段塞回上下文，能撑到第五六轮。另外给对话历史设个滑动窗口，旧轮次的内容让模型生成个摘要词条存下来，比它现场回顾稳定些。不过说实话，真要跑复杂流程，本地至少得14B量化版才勉强靠谱，7B更适合拆成单步任务来调。你用的搜索返回结果是不是经常一大段网页原文？那个最吃上下文，最好让工具先截取和query相关的片段再返回。

同感，7B做多步工具调用确实容易在长上下文里迷失。我试过把工具返回结果先做个摘要再塞回对话，比直接截断好用点，但摘要质量也得看模型心情。另外你可以试试把历史对话按轮次拆开，只保留最近几轮原文，更早的压缩成关键信息列表，langchain里那个ConversationSummaryBufferMemory思路差不多，但参数要调得保守些。还有个小技巧，工具调用完给模型一个明确的“当前任务进度”提示，能减少它瞎编的概率。7B极限在这，真想稳定跑复杂流程，还是得考虑14B或量化后的72B，不然就得把任务拆得更细。

7B做多步agent确实有点吃力，工具返回一多就容易迷失。我一般把每次工具调用结果压缩成两三句话再塞回上下文，原始输出单独存着，需要时再捞。另外可以试试限制历史轮数，只保留最近两轮完整对话，更早的用一句话摘要代替。Qwen2.5-7B指令遵循还行，但上下文一过8k就明显飘，建议先排查是不是超了窗口。

7B做多步工具调用确实容易崩，我拿Qwen2.5-7B试过类似流程，基本三四轮就开始丢工具结果。后来改成每轮只保留最近两次工具调用的原始输出，更早的让模型压成一句话摘要塞进system里，效果好不少。另外工具返回别整段塞进去，先在外面用规则截取关键字段再给模型，能省很多token。你也可以试试把搜索和代码执行拆成两个独立agent串行跑，别让一个上下文扛所有事。