最近在试着用LoRA微调一个7B的基座模型，任务是自己收集的小规模领域问答数据。显存大概是没爆（24G），batch size调到2，学习率试过1e-4和5e-5，但loss跑了两三个epoch基本就在2.3左右震荡，下不去。我检查了数据格式，和官方文档里的alpaca格式差不多，也没有特殊token错位。想问下这种情况一般是数据质量不行，还是超参数没调对？或者是不是基座模型本身就不适合这个任务？有点迷茫，希望有经验的大佬能指点一下排查方向。