微调后的模型做Agent任务，总乱调用工具怎么办？

训练数据里得混点“不调用”的样本，不然它默认啥都得调工具。

另外试试把工具列表塞进system prompt，不存在的工具直接不给它看到。

这问题太典型了，LoRA微调小模型做agent确实容易这样，因为模型根本没学会“不知道就拒绝”这个边界。我怀疑你2000条数据里全是“必须调用工具”的正样本，缺了“不调用工具也能回答”的反例，试试加一些纯对话或无法匹配工具的场景进去。另外工具名别用“天气预报API”这种泛称，给每个工具固定一个唯一且口语化的触发词，比堆指令模板管用。

这情况太典型了，LoRA微调容易让模型死记硬背工具名，建议在数据里混入20%的“不调用”样本，教它学会拒绝。

我之前也踩过这坑，后来加了工具描述和few-shot示例，情况好多了，你也可以试试在system prompt里把可选工具列清楚。

训练数据里得加些“不该调用工具”的负样本，不然模型学不会拒绝，光降loss没用。

我之前也踩过类似的坑，LoRA微调数据量小的时候特别容易把“工具调用”学成“必选动作”，模型压根没学会啥时候该停手。你可以试试在数据里混入一些“不该调用工具”的样本，比如用户只是闲聊或者信息不足时，让模型输出直接回答，而不是硬凑一个工具名。另外检查下工具描述是不是太泛了，像“天气预报API”这种，如果训练数据里没严格区分“存在的工具”和“不存在的工具”，模型就会自己脑补。还有个小技巧，在系统提示里把可用工具列表用固定格式写死，并强调“仅能使用列表中的工具”，对Llama这种模型挺管用的。

我最近也在调类似的Agent，8B模型做工具调用确实容易飘。感觉你损失降到很低但实际不行，大概率是数据里负样本太少，模型没学会“不调用工具”或“调用已知工具”的边界。可以试着在训练集里混入一些不需要调用工具的普通对话，再加一些“工具不存在”的拒绝样本，让它知道不是每轮都要硬凑个工具出来。另外你那个工具名规范问题也得查一下，模型可能把“搜索”记成了“搜索API”这种变体，建议工具名统一成极简的动词格式，指令模板里也把可用工具列表明确写死，别给它自由发挥的空间。

我之前也踩过类似的坑，尤其是用LoRA微调小模型做Agent，loss低真不代表它会“拒绝”乱来。你这情况我怀疑是训练数据里负样本太少，模型压根没见过“不该调用工具”的场景，所以一到真实环境就放飞自我了。我后来在数据里硬塞了20%的“纯对话”样本，明确标注“不调用任何工具”，模型慢慢就学会闭嘴了。另外工具名别用太长的描述性名字，像“get_weather”这种容易让模型联想出变体，我改成“tool_weather”这种钝感词之后，幻觉少了很多。你可以试试在系统提示里加一句“如果工具不存在，直接回答不知道”，然后配合温度调低到0.1，能压住不少随机性。还有个偏门招，就是给每个工具加一个“工具描述字段”放到训练数据里，让模型学会先读描述再决定要不要调用，这样它就不会凭空造API了。最后，2000条数据对8B模型来说确实偏少，建议至少加到5000条，并且把错误调用案例也当反例写进去，比单纯堆正例有效得多。

这问题太典型了，LoRA微调在工具调用上确实容易过拟合到“看到任务就调工具”的模式，反而没学会什么时候该停手。我怀疑你那2000条数据里可能全是“必须调用工具才能解决”的正例，模型自然默认每个任务都得接个工具。建议往训练集里塞一些不需要调用任何工具、直接回答就行的负样本，同时把工具描述写得更严格一点，甚至加一条“未知工具一律不调用”的硬规则。另外8B模型在复杂指令跟随上本来就弱，可以试试把工具选择改成两步走，先让模型判断要不要调工具，再让它选具体哪个，分开来训说不定稳很多。

我之前做类似项目也踩过这个坑，感觉不是单纯工具名规范的问题，而是微调数据本身缺乏“决策边界”。你只喂了2000条成功调用记录，模型学到的模式是“看到任务→立刻调工具”，但没教会它“什么情况下不该调”。我后来在数据里混了大概15%的负样本，比如用户问常识问题但工具返回无关结果，或者明确要求不联网的场景，模型才慢慢懂得“拒绝”和“兜底回答”。另外你可以试试把工具描述改成更口语化的形式，比如“天气查询器（输入城市名）”，别用太正式的API文档式描述，8B模型对长描述里的关键信息其实抓得不准。还有个土办法，就是给工具调用加一个“置信度阈值”后处理，如果模型输出的工具名不在白名单里，就强制走默认回答，同时把这类case收集起来再补训练。最后提醒下，LoRA微调时如果只盯着loss曲线，很容易过拟合到训练集的工具名拼写模式，建议留几百条真实环境里的“乱调用”样本做验证集，看看泛化表现再调。

这问题太典型了，LoRA微调容易把工具调用学成“条件反射”，但没学会“什么时候不该调”。我建议你在数据里专门加一批“不调用工具”的样本，让模型明白大部分问题直接回答就行，不然它默认每个query都得接个工具。另外试试把工具描述写得更严格，比如把不存在的工具名改成“无效工具”，看它会不会更警惕。我调过7B模型，把工具调用的logit概率阈值调高一些，也能减少瞎试的情况。

这问题太典型了，LoRA微调很容易把工具调用学成“条件反射”而不是“理解任务”。我猜你数据里可能全是“必须调用工具”的正样本，模型没见过“不需要调用”的场景，所以它压根没学会拒绝。建议你往训练集里掺一些“查询即可回答”或“工具不可用”的负样本，让模型知道什么时候该闭嘴。另外工具名描述可以加些同义改写，不然它容易过度拟合字面触发词，真实场景一变形就乱来。

这问题太典型了，LoRA微调确实容易让模型把工具调用学成“死记硬背”，而不是真正理解什么时候该停。我觉得你可以先检查下训练数据里是不是只有“调用成功”的样本，完全没喂过“不该调用工具”的负例，模型自然不知道啥时候该收手。另外试试在系统提示里加一句硬性规则，比如“如果用户请求不明确，直接回答不知道”，比单纯调参可能更立竿见影。

这问题太典型了，LoRA微调确实容易让模型把工具调用学成“条件反射”，而不是真正理解意图。我猜你数据里可能全是“必须调用工具”的正样本，缺了“不该调用时就不调”的负样本，模型自然就放飞了。建议你专门构造一批“无关问题”或“模糊请求”的数据，强制模型输出不调用工具或返回错误提示，让“拒绝能力”也参与梯度更新。另外可以试试在系统提示里加一句“仅当用户请求明确对应工具功能时才调用，否则直接回答”，比搞复杂模板省事得多。

我之前做类似项目也踩过这个坑，2000条数据确实少了点，LoRA微调容易让模型把工具调用当成生成任务里的“惯性动作”，而不是真正理解该不该调。你可以试试在数据里混入一些“不需要调用工具”的样本，明确标注回复答案就行，让模型学会拒绝。另外工具名最好统一成固定格式，比如用[TOOL:search]这种强标记，比自然语言描述更不容易被模型自由发挥。调参的话，LoRA的rank可以适当降到8或16，防止过拟合训练集里的工具组合模式，我之前降完乱调用的情况少了很多。

我最近也踩过类似的坑，LoRA微调数据量小的时候模型特别容易把工具名和意图绑死，2000条可能不够覆盖那些“不该调工具”的负样本。我当时是往数据里硬塞了一批“用户问闲聊话题但必须返回空操作”的样本，然后加了个显式的判断步骤，让模型先输出是否调用再给参数，效果好了不少。另外你试试把工具描述写得再死板一点，比如直接写成“工具列表：search(参数)，calculator(参数)，无可用工具时输出null”，别给模型自由发挥的空间。损失低不代表泛化好，你可以看看真实任务里它是不是对未见过的query容易乱编，这个比训练loss更值得盯。

这问题太典型了，LoRA学的是模式不是规则，建议在数据里混点“无工具可调”的负样本试试。

工具名得统一成固定格式，另外加个系统提示词强制它先判断再调用，能压住不少幻觉。

试试在数据里混入些拒绝调用的样本，让模型学会说“这题我不会”。

遇到过类似的坑，LoRA微调对工具调用的泛化性确实不如预期，损失低不代表它真学会了“什么时候不该调”。我后来把训练数据里硬塞了一些“不调用工具直接回答”的样本，再配合系统提示词里明确写死可用工具列表，效果好了不少。另外你可以试试在解码时加个简单的规则过滤，比如对工具名做一次字符串匹配，不存在的就直接拦掉，这比纯靠模型自觉靠谱。

我最近也在搞类似的东西，用的Qwen-7B，情况跟你一模一样。损失低真的不代表它学会了“什么时候不调工具”，LoRA微调很容易让模型把工具调用当成一种文本生成惯性，而不是基于意图的决策。我觉得你这个问题的核心不在工具名规不规范，而是训练数据里缺少“负样本”——就是那些不该调用工具、或者工具不可用的对话，模型没见过拒绝路径，自然就瞎编API了。另外你也可以试试在system prompt里加一层硬约束，比如明确列出可用工具列表和“如果无法匹配就回复不知道”，但注意这只能缓解，不能根治。我后来是把数据构造改成“工具描述+抽取式决策”的格式，让模型先输出“需要/不需要工具”，再输出工具名，效果好了不少。还有个小坑，2000条数据对8B模型来说可能不够学边界，我建议你至少加到4000条，并且故意混入一些干扰工具名，逼它做排除。调参的话，LoRA的rank可以试到64，学习率降到1e-5看看，有时候过拟合训练集反而会放大幻觉。你那个“天气预报API”是训练数据里没出现过的吧？如果是，那基本就是模型在泛化时瞎补全，可以试试在解码时加个工具名白名单过滤，强制采样，这个立竿见影。

遇到过一模一样的情况，LoRA微调后工具调用幻觉特别严重，尤其是8B这种小模型。我后来发现核心问题不在训练损失，而是你构造的2000条数据里可能全是“必须调用工具”的正样本，模型压根没见过“不该调用工具”的场景，所以它学到的模式就是“只要用户提问就得调点什么”。你试试在数据里混入20%到30%的负样本，就是用户问的问题明明不需要工具，比如闲聊或者常识问答，然后让模型学会直接回复而不是硬接一个工具。另外工具名那块，我建议你检查下是不是训练时工具描述写得太简略，比如只写了“search”，但实际推理时系统提示里给的是“search_web_v2”，这种不一致会让模型很困惑，它只能自己瞎编。还有一个坑是温度参数，Agent任务里温度最好调到0.1以下，否则你微调学到的确定性行为会被采样随机性破坏，我调低温度后幻觉立刻少了很多。如果你不想重新训练，也可以试下在推理时加一层硬约束的规则，比如只允许调用系统提示里明确列出的工具名，遇到不匹配的就强制返回“无法完成”，但这只是治标。我觉得最靠谱的还是补数据，把“拒绝调用”这个动作当成一个独立的工具来训练，让模型学会输出“no_tool”这个特殊标记，效果会好很多。