最近在尝试用LLaMA-Factory对Qwen2.5-7B做LoRA微调，数据集大概5k条，主要是垂直领域的问答对。训练参数用的是默认的rank=8、alpha=16，学习率1e-4，跑了3个epoch。微调后领域内的效果确实提升明显，但发现模型原来的一些通用能力（比如写代码、简单推理）下降得很严重，甚至有时候会胡言乱语。想问下各位大佬，这是LoRA的常见问题吗？是不是我的rank设太小了，还是数据配比有问题？需不需要混一些通用数据进去？真心求指点，谢谢！