最近在尝试用LoRA微调一个7B的基座模型做代码补全，数据集是GitHub上爬的一些Python片段。我参考了网上常见的配置，rank=8, alpha=16, 学习率设了2e-4，跑了几个epoch，loss从一开始的1.2左右就掉到1.0，然后就一直在0.9~1.0之间震荡，下不去了。试着把学习率降到1e-4，反而loss还升了一点……
我怀疑是不是数据集太杂了，或者LoRA只加了attention层不够？又或者是我target_modules没选对？有没有大佬遇到过类似情况？或者干脆就是7B模型本身能力有限？求指点，感谢！