微调后的模型做Agent，感觉推理能力变差了，是数据问题吗？

这问题我太有同感了，之前用QLoRA微调一个6B模型做客服Agent也踩过一模一样的坑。单轮问答看着挺聪明，一进多轮对话就开始失忆，甚至把用户刚说的关键信息给忘了。我觉得你猜的方向很对，纯领域问答对确实会强化“单轮输入输出”的映射，反而把模型在预训练里学到的工具调用和状态跟踪能力给冲淡了。我当时试过在微调数据里掺一些带历史对话和工具调用轨迹的样本，哪怕只有10%到20%的比例，效果都明显不一样，模型会更愿意“记得”之前说过的话。另外还有个细节，LoRA的rank和alpha如果设得偏大，对原有能力的破坏会更明显，你可以试试调小一点，比如rank=8甚至4，有时候反而更稳。我还有个疑问，你微调的时候有没有冻结base model的embedding层？我之前没冻结，结果模型对工具名的语义理解都变飘了。不过说实话，7B本身的多步推理上限就在那，可能还得靠prompt里强制加“思考步骤”或者用更小的动作空间来兜底。你用的基座模型是哪个？有些模型的对话格式对微调数据特别敏感，稍微不对就会影响Agent行为。

这个现象太典型了，LoRA微调本质上是把模型往特定分布上拽，领域问答数据会让它过度拟合“单轮输入-输出”的模式，反而削弱了它原本对多步状态的追踪能力。我之前试过在微调数据里混入20%的Agent轨迹（带工具调用和错误恢复的），效果比纯问答好很多，但推理能力还是回不到基座模型水平。建议你检查下微调时的学习率是不是太高，或者考虑用QLoRA冻结更多底层参数，只训练顶层，这样对通用能力的破坏会小一些。另外，你可以在微调后专门跑一下BBH或GSM8K的测试集，看看是不是真的掉点，如果掉了，那大概率就是数据分布的问题，而不是模型本身坏了。

这坑我太熟了，之前拿领域数据微调也把模型整“偏科”了。单轮问答跟Agent推理本身就不是一回事儿，LoRA在压缩推理链时很容易把工具调用的触发逻辑给冲掉。建议你混入一些带多轮工具调用的轨迹数据，哪怕数量少点，让模型重新学会“下一步该干嘛”。另外微调时把原始通用数据也掺一点进去，能稳住底层能力。

微调数据里全是问答对，模型当然只学会“给答案”，没学会“用工具”啊。Agent那套多步推理、记忆上下文，本质上跟单轮生成是两种分布，你拿A分布的数据去调，指望它B分布也变强，这不合理。建议搞点带ReAct格式的样本，或者干脆用蒸馏的方式把大模型的Agent轨迹搬过来，量不用多，几百条就够。

你这不是推理能力变差，是微调把模型原有的工具调用先验给覆盖掉了。LoRA虽然改动小，但训练目标全是“生成答案”，它自然就倾向直接输出结果，跳过中间动作。我试过在数据里掺入带“思考过程+工具调用”的样本，比例调到三成左右，Agent表现就回来了。你那边可以试试把SQL生成任务拆成“查表-调用-再生成”的步骤，强制模型保留中间输出。

我之前

纯问答对微调确实容易牺牲推理链，建议掺入带工具调用的轨迹数据，比例拉到三成以上再试试。

数据里得有多轮交互和错误恢复样本，不然模型学不到Agent的“记忆”模式，单步再准也白搭。

你这个现象我太熟了，之前做NL2SQL的时候也踩过一模一样的坑。单轮准确率刷到90%+，一上多轮Agent直接崩盘，后来复盘发现就是LoRA把模型原本的思维链能力给“覆盖”掉了一部分。你用的纯问答对数据，本质上是在教模型“看到问题就给答案”，但Agent流程里需要的是“看到问题→决定要不要调工具→调完工具→基于新信息再推理”这种动态路径，这跟静态问答的分布差太远了。我的建议是别急着加多轮数据，先拿你现有的模型跑几个带工具调用的few-shot样例，看看它是不是连基本的“先调工具再回答”的顺序都乱了——如果乱了，那大概率不是数据量的问题，而是微调时把基座模型对指令中“分步执行”的敏感度给磨平了。另外有个小技巧，微调时把系统提示里关于“你必须使用工具”的指令也作为训练样本的一部分混进去，哪怕只有几百条，也能显著保住Agent行为的先验概率。还有个坑是7B模型本身工作记忆就有限，LoRA的秩如果太高反而会加剧遗忘，你可以试试把rank降到8或者16，同时把学习率调低一个数量级，有时候反而能救回来。至于要不要专门设计Agent交互样本，我觉得得分两步走：先保住原有推理能力，再谈针对性增强，不然你数据越加，模型越容易在特定格式上过拟合。

这现象太常见了，LoRA只灌问答对确实容易把思维链带偏，得掺点带工具调用的多轮轨迹数据才行。

我之前也栽这坑里，单轮准了但一上Agent就崩，后来加了带反思和纠错的样本才拉回来。

这问题太典型了，LoRA微调本质上是把模型往特定分布上拽，纯问答对会让它过度拟合“直接给答案”的模式，反而削弱了它原本对多步推理和状态追踪的泛化能力。我之前试过在微调数据里混入20%左右带工具调用轨迹的样本，情况会好很多，但得注意保留原始指令数据的比例。另外可以试试把Agent的对话历史做成显式的结构化输入，比如用分隔符把之前的工具结果和当前问题隔开，模型更容易区分上下文边界。

这问题我太有同感了，之前拿领域数据微调模型做tool calling也翻过车。你那个纯问答对的数据，本质上是教模型“背答案”，不是教它“用工具”，LoRA很容易把通用推理权重给带偏了。建议你试试混合少量多轮Agent轨迹数据（哪怕人工写几十条）再微调，另外把原始SFT数据按比例混着训练，能保住大部分原生能力。我甚至见过有人把工具调用的指令样本单独抽出来做偏好优化，效果比硬调所有参数稳得多。

我之前也踩过类似的坑，LoRA微调确实容易让模型在领域任务上“过拟合”，把通用推理链给冲淡了。你只喂问答对，模型学到的更多是“直接给答案”的模式，而不是“先想再调工具”的流程。后来我加了带工具调用轨迹的多轮对话样本，哪怕只有几百条，效果都明显不一样，推理和记忆会慢慢恢复。另外建议你试试把微调数据里混入一些原始通用数据，比例大概3:1，能稳住底层能力。你要是还没试过，可以先用现成的Agent轨迹数据集做二次微调，比纯自建省力不少。

这问题我太熟了，之前拿LoRA调过代码生成模型，单测全过，一上Agent就各种断片儿。你那个感觉不是错觉，领域数据微调确实容易把模型压向“输入到输出”的短路径，把工具调用和记忆这种长程依赖的能力给稀释掉了。我个人试下来，微调集里哪怕只掺10%-20%的模拟Agent轨迹样本，比如带工具结果反馈的多轮对话，效果都会明显不一样。另外建议你查一下微调时的损失是不是在对话历史token上特别高，有时候是模型只顾着学最后一轮回复，把前面的上下文给“忘”了。

数据太单一是主因，纯问答对把模型带偏了，得掺点带工具调用的多轮轨迹进去才行。

我试过类似情况，加些带推理链的agent样本后，效果明显回来不少。

这个问题还挺常见的，我去年做类似项目时也踩过。LoRA微调确实很容易把模型原有的通用推理能力带偏，尤其是你只用领域问答对去训，模型会倾向于记住模板式的映射关系，而不是保留那种一步步思考的习惯。说白了就是在单步任务上过拟合了，多步场景下反而不知道怎么串联。Agent流程其实非常依赖基座模型本身的指令跟随和工具调用能力，微调数据里如果没有多轮交互和工具调用的样本，模型很容易把“调用工具”这个动作忘掉。建议你掺一部分Agent轨迹数据进去，比如ReAct格式的多轮样本，比例不用太高但要有。另外可以试试只微调部分层，或者把LoRA rank调小一点，减少对原能力的破坏。还有一种做法是Agent编排层用没微调的基座模型，只在特定子任务上调用微调后的模型，这样各司其职。