用LoRA微调Qwen2.5做Agent工具调用，效果不稳定正常吗？

验证集高分但实战拉胯，大概率是数据分布和真实场景没对齐，模板得抠细点。

之前也踩过这坑，LoRA学得快忘得也快，参数名最好在数据里做强制纠偏。

这情况太典型了，LoRA对格式记忆不牢，建议把工具调用的few-shot示例直接拼进系统提示词里。

验证集88%但实际拉胯，大概率是数据分布和真实场景错位了，你那300条对话估计太“干净”，真实输入里各种废话、歧义、指代，模型没见过就容易懵。参数名不一致这种问题，建议先检查是不是后处理解析太死板，LoRA本身对格式约束确实弱，我试过把工具调用的schema直接写进system prompt里，比单纯靠微调管用。另外可以试试混合一些负样本，就是故意不给工具信息的对话，让模型学会“不调用”的边界，提升可能比加数据还明显。

验证集88%但实际拉胯这个现象太典型了，我怀疑你验证集里可能混了跟训练集同分布的模板化数据，模型其实在背答案而不是学工具调用的语义。LoRA在这种低数据量下确实容易让模型对参数名产生“模糊记忆”，尤其是你300条里如果API调用格式高度统一，它就会偷懒学个近似映射而不是严格对齐schema。建议你去查一下训练数据里是不是所有order_id都长一个样，试着随机插入一些干扰轮次或者把参数顺序打乱重排，逼模型去关注键名本身。另外解析逻辑也有坑，Qwen的官方模板里工具定义和用户query之间的分隔符很敏感，你可以打印一下实际推理时的完整prompt，看看是不是多轮对话历史把格式带偏了，比如assistant之前误输出过自然语言，后面就跟着崩了。我自己的经验是这类结构化输出用LoRA不如直接few-shot稳定，除非你把秩加到64以上或者混入5%的负样本（故意不给工具只让回复文本），不然它很容易在简单场景下偷懒不调用。你那个把order_id改成orderId的情况，八成是训练数据里出现了别名或者没统一json键，建议拿脚本扫一遍所有对话里的参数名，列个频率表看看是不是有脏数据。

验证集88%但实战拉胯，大概率是数据分布和真实场景错位了，300条手工数据里简单query占比太高，模型把“必须调用工具”当成了侥幸任务。建议你专门抽20条最基础的case做对抗测试，看看是不是模板里缺少“不调用就失败”的负样本。另外参数名改写成orderId这种，LoRA确实容易学到表面格式而非语义约束，试试在system prompt里加死规矩，或者干脆用Qwen的function calling专用格式重写一遍数据。

参数名被改这种问题我踩过，大概率是训练数据里参数名的大小写写法不统一，模型学成了自由发挥。你可以在推理时加一层参数名映射兜底，同时把工具schema塞进system prompt里。另外88%验证集准确率水分可能不小，得看验证集是不是和训练集同分布。LoRA做结构化输出本身没大问题，但秩16对工具调用这种任务可能偏小，可以试试32再配合更严格的数据清洗。

这个现象挺典型的，我之前做类似的事情也踩过。验证集88%但实际跑起来翻车，大概率不是LoRA本身的问题，而是验证集和真实调用场景的分布差太多了。你手工整理的300条对话，很可能在参数名、句式、调用时机上都太“规整”了，模型学到的是你数据里的模板惯性，而不是真正的调用逻辑。参数名被改掉这种，往往是因为训练数据里同一个字段出现过多种写法，或者模型在base阶段就对camelCase有偏好，LoRA没足够样本把它压下去。另外你学习率2e-4配秩16，对结构化输出任务其实偏激进，容易把原本的工具调用能力带偏。可以试试把学习率降到5e-5到1e-4之间，再专门构造一批“该调用但不调用”和“不该调用但诱导调用”的负样本。解析逻辑也要查，有时候不是模型没输出，是输出被后处理截断或格式校验卡掉了。还有个容易忽略的点，Qwen的工具调用模板对special token很敏感，训练和推理时的chat template必须完全一致，差一个空格都可能让模型懵掉。

我们之前做类似工具调用也踩过这个坑，300多条数据其实不算少，但关键看参数名和场景的覆盖度。你验证集88%但线上翻车，很可能是训练集里"order_id"这种字段名太单一，模型没学到严格对齐，换个上下文就开始自由发挥。建议把参数名做成强约束的模板，或者在推理时加一层schema校验，别全指望LoRA自己学会。另外学习率2e-4对LoRA偏高了点，试试1e-4或者更低，结构化输出对扰动挺敏感的。

300多条能到88%验证准确率已经不错了，但验证集和真实场景的分布差挺多的。参数名大小写乱掉基本就是训练数据里写法不统一，模型学混了，建议把order_id这类字段在数据里严格固定一种写法，别一会儿驼峰一会儿下划线。突然不调工具往往是模型没搞清楚“什么时候该调”，可以在系统提示和样本里多塞点不该调用的负例。LoRA做结构化输出本身没大问题，但秩16对这种任务可能偏小，试试32或者把target modules加上mlp层。