微调后的模型做Agent工具调用，总是忘记参数格式怎么办？

说实话几十条数据想学会稳定的工具调用确实太少了，LoRA对这种格式敏感的任务尤其吃数据多样性。我建议你检查一下是不是所有负样本都只错在参数名上，可以把错误类型也写进训练集里当反例。另外试试把system prompt里的JSON schema写得再死板一点，比如直接给一个完整模板让模型照着填空，比让它自己生成key要稳得多。小模型不是学不会，是它对格式的容错率低，你得把约束都焊死在输入里才行。

几十条数据确实太少了，LoRA在这种规模下很难稳定记住参数格式，尤其8B模型对格式的敏感度本来就不高。建议你先把所有JSON示例里的参数名和类型彻底统一，哪怕多写点重复的case，把容易混淆的order_id和orderId这类变体故意混进去做负样本。另外可以试试把工具定义直接塞进system prompt里，让模型先复述一遍再生成调用，有时候比光靠微调管用。还有个思路是后处理，用正则或schema校验去兜底，别全指望模型自己改对。

几十条数据确实太少了，格式统一加数据量堆到几百条试试，小模型靠例子硬记的。

这问题大概率是数据里参数格式前后不一致，检查下是不是混了不同写法。

几十条数据确实太少了，LoRA对这种格式敏感的任务基本在靠记忆硬撑，稍微偏一点就崩。我之前试过把schema直接写进system prompt，每条数据里都重复一遍完整字段定义，效果比单纯给few-shot稳很多。另外你检查下是不是微调时把特殊token（比如<|tool_call|>）也给训练进去了，有时候模型会把格式错误当成噪声学走。建议先拿现成的函数调用数据集（比如Glaive那种）混合着一起训，数量提到几百条，再试试不同epoch看哪层最稳。

说实话几十条数据确实太少了，LoRA对这种格式敏感的任务至少得几百条覆盖各种边界情况。另外建议你在system prompt里把每个工具的JSON schema写死，并且微调时故意混入一些错误格式让模型学会纠正。参数名混淆可能是tokenizer对驼峰和下划线处理不友好，试试统一用snake_case并在数据里强化这个模式。小模型学工具调用确实吃力，但8B不至于完全不行，可能你温度调太低导致过度依赖训练分布了。

几十条数据确实太少了，LoRA对这种格式敏感的任务起码要几百条覆盖各种边界情况，而且你数据里参数名风格必须完全统一，建议把错误写法也当成负样本加进去。另外8B模型学工具调用本来就不稳，我试过把工具定义写成更严格的schema描述，或者干脆用prompt强制输出JSON再校验，比单靠微调靠谱。你temperature调到0.1以下试试，生成时加个正则约束会不会好点？

几十条数据确实太少了，LoRA再强也记不住那么多字段的排列组合，模型本质是在背样本而不是学“格式感”。我之前微调工具调用时发现，光靠JSON例子不够，得把system prompt里明确写死一个“参数规范”区块，每次训练都强制把order_id这类字段的定义、类型、示例值塞进去，让模型把格式当常识而不是记忆点。另外你检查过tokenizer对下划线或者驼峰的处理没？Llama的分词器对order_id和orderId可能产生完全不同的token序列，模型学到的关联性会被割裂，试试统一成一种命名风格，比如全部用snake_case，并且在数据里故意混入几种错误写法做负样本，告诉模型“看到orderId就改成order_id”。小模型学工具调用确实吃力，但8B不是不行，我见过有人用几百条高质量数据+多轮对话式纠错（模型答错就模拟用户反馈让它重试）也能稳定住，你那个3个epoch大概率还欠拟合，LoRA rank可以调大点，或者把学习率降一降多跑几个epoch。还有个野路子：把工具调用的schema直接塞进对话历史，让模型每一步都“看着说明书答题”，而不是靠记忆，虽然推理慢点但准确率会明显提升。说到底，你先拿那几十条数据做个闭卷测试，看模型是不是在训练集上都完美还原，如果连train都过拟合不了，那就是数据格式一致性或者学习率的问题了。

几十条数据确实太少了，工具调用这种结构化输出对格式一致性特别敏感，建议至少搞到几百条，而且参数名和类型要严格统一。另外可以试试在推理时加个schema校验层，比如用 outlines 或 lm-format-enforcer 强制约束输出格式，比单纯靠微调稳得多。8B 模型不是学不会，但LoRA只调几轮容易欠拟合，也可以试试把学习率调小、epoch加到5-8看看。

几十条数据对function calling来说确实太少了，模型根本没法学稳参数名的边界。我之前也踩过这个坑，后来把训练数据扩到几百条，并且严格统一schema，参数名和类型在数据里必须和推理时完全一致，效果才明显好转。另外建议在prompt里把工具定义用JSON Schema完整贴出来，别指望8B模型自己记住格式。实在不行可以试试在推理时加一层参数校验和纠正，比硬调模型省事多了。

几十条数据确实太少了，尤其你想让模型同时学会“什么时候调工具”和“参数怎么填”，这两个能力其实挺吃数据量的。8B模型不是学不会，但它对格式的敏感度比大模型差不少，你数据里只要有一两次order_id写成orderId，它就会觉得这俩都行。我建议先把微调数据统一成严格JSON schema，参数名和类型一点都不能飘，哪怕多写几条重复模板也比花样百出强。另外工具调用这块，光靠LoRA微调可能不够稳，可以考虑在推理时加一层grammar约束或者JSON schema校验，直接限制输出token的合法范围。few-shot对已经微调过的模型反而容易干扰，因为上下文里的示例格式和它权重里记的会打架。temperature调低到0.1左右通常有帮助，但根子还是数据一致性和解码约束。实在不行就换更大一点的模型或者用专门做function calling的微调版本，别硬磕8B裸调。

几十条确实太少，参数名和类型得靠足量多样本才能稳住，建议先把数据扩到几百条再试。