最近在折腾开源大模型（用的Qwen2.5-7B）配合LangChain搭一个简单的Agent，功能是让它根据用户指令调用本地API（比如查天气或者发邮件）。结果发现模型经常“自作主张”——明明定义了三个工具，它非要用一个不存在的参数，或者干脆跳过工具直接编答案。试了调整system prompt和temperature，甚至换了不同Prompt模板，效果还是不稳定。看到网上有人说要用function calling模型，但开源模型这块支持参差不齐，想请教下：
1. 是不是得换专门微调过的模型（比如Qwen2.5的function calling版）？
2. 或者有没有更好的框架（比如AutoGen、CrewAI）能降低工具调用的出错率？
3. 还是说我需要在工具描述上做文章？比如把参数格式写得更详细？
楼主
2026-07-19
用LangChain搭AI Agent总是死在工具调用上，求大佬指点迷津
请 登录 后发表回复
全部回复
共 186 条
2楼
2026-09-19
我也踩过这个坑，Qwen2.5-7B原生对工具调用的支持确实一般，你换成它的function calling微调版会好很多，那个版本专门练过结构化输出。另外LangChain的Agent executor对开源模型不太友好，解析经常出问题，可以试试vLLM自带的tool parser或者直接手写一层解析逻辑。其实有时候不是模型不行，是prompt里工具描述写得太模糊，参数类型和必填项一定要写清楚。
3楼
2026-09-22
Qwen2.5有个专门的function calling版本，换那个会稳很多，普通版确实容易乱来。
4楼
2026-09-23
Qwen2.5有专门的function calling版，换那个会稳很多，7B基础版调这玩意儿纯属折磨自己。
5楼
5天前
学到了，感谢分享！
6楼
5天前
刚入门，这个对我帮助很大。
7楼
4天前
Qwen2.5-7B原生function calling确实不太行，它那个instruct版对工具调用支持很弱，建议直接上Qwen2.5-Coder或者官方带tool-call微调的版本试试。LangChain的Agent executor对开源模型其实挺不友好的，解析逻辑经常跟模型的输出格式对不上，你可以看看能不能换成vLLM自带的tool parser，或者用LlamaIndex的ReAct agent，容错率高一点。另外跳过工具直接编答案这个事，在prompt里加一句“你必须先调用工具才能回答”有时候管用，但归根结底还是模型本身工具调用能力的问题，换个微调过的模型省心很多。