微调后的embedding模型做RAG，效果反而变差了？

法律领域做RAG微调embedding翻车还挺常见的，我去年做医疗问答时也踩过类似的坑。你用随机负样本基本等于让模型学“这俩完全不搭边”，但法律术语里很多概念本身就高度相似，比如“定金”和“订金”，随机采样根本区分不出这种细粒度语义，模型反而会把原本拉开的距离又搅混了。换hard negatives确实是个方向，但别一上来就全换，建议先按7:3混着来，hard negative太猛容易导致训练崩溃，尤其是bge这种已经预训练得比较充分的模型。另外你提到的通用能力下降问题，我觉得大概率已经发生了，可以拿MTEB里的中文子集跑一下对比，如果掉得厉害，加个KL散度约束或者用LoRA只调顶层会稳一些。还有个容易被忽略的点是温度系数，contrastive loss里温度设太小会让模型对负样本过度惩罚，0.05以下在法律这种细粒度领域很容易过拟合。最后训练数据构造上，问答对不如用“同案由不同判决”这种天然hard pair，裁判文书里其实能挖出不少。

随机负样本太弱了，换hard negatives试试，另外微调学习率别太大，容易把通用能力带崩。

法律领域术语密集，随机负样本确实容易让模型学不到区分度，hard negatives 对这类场景帮助挺大的。不过你微调后变差，也可能是训练数据里的问答对本身就不太适合做对比学习，裁判文书里的表述跟真实 query 分布差挺远的。可以试试先用少量数据只微调一两轮，看验证集检索指标再决定要不要继续。另外通用能力下降基本是必然的，bge 这种模型微调狠了会遗忘，得控制学习率和步数。