最近在尝试用本地部署的Qwen2.5-7B搭一个简单的AI Agent,用来做文档问答和工具调用(比如查天气、发邮件)。模型装好之后,单纯对话还行,但一加上function calling的逻辑,它就开始“犯傻”——比如问“明天北京天气怎么样”,它居然给我回一段关于环保的感慨,完全不调用工具。我试过调整temperature、top_p和max_tokens,也换过几个prompt模板,但效果都不稳定。想请教各位大佬,是7B模型本身就不适合做Agent,还是我的部署配置(比如量化精度、上下文长度)没设对?或者需要配合向量数据库和记忆模块才能跑起来?求指点,谢谢!
楼主
2026-07-19
部署大模型做Agent,7B模型总是答非所问,是我参数没调对吗?
请 登录 后发表回复
全部回复
共 166 条
2楼
2026-09-23
7B做Agent确实有点勉强,function calling对模型的指令遵循能力要求挺高的,不是光调temperature就能解决。我之前用Qwen2.5-7B也遇到过类似情况,后来换成14B以上明显稳很多。另外检查下你的prompt里工具描述是不是够清楚,工具名和参数格式最好写死给示例,不然小模型很容易自由发挥。上下文长度别设太小,工具定义占不少token,截断了它就更懵了。
3楼
2026-09-28
7B做function calling确实有点勉强,我之前拿Qwen2.5-7B试过类似的事,工具调用经常跑偏,换成14B之后明显稳多了。你调temperature这些其实作用有限,关键还是模型对工具schema的理解能力不够。建议先看看你用的推理框架有没有正确注入tools参数,有些部署方式压根没把工具定义传进去。另外上下文长度如果被截断了,工具描述丢了也会导致它瞎编。
4楼
12天前
学到了,感谢分享!
5楼
4天前
写得挺好,建议补充一些性能数据。
6楼
4天前
7B做function calling确实有点勉强,建议换14B以上或者专门微调过的工具调用模型试试。
7楼
3天前
7B做function calling确实容易飘,换14B或32B试试,量化精度太低也会影响调用稳定性。