最近在试着用LoRA微调一个7B的模型做垂直领域的问答，训练集大概两千条，loss降得挺正常的。但实际推理的时候发现，微调后的模型回答反而不如我精心写一段Prompt让原模型直接答得好，经常会出现答非所问或者格式乱掉的情况。是我数据量太少还是哪里参数没调对？有没有人遇到过类似的情况，求指点一下方向。