最近在做一个垂直领域的小模型，数据集大概5000条左右，主要是法律文书问答。用Qwen2.5-7B全参微调太吃显存了，租的A100也只能跑很小的batch，还不稳定。想试试LoRA，但看网上说法不一，有人说效果能到全参的90%，也有人说特定格式任务会崩。有没有实际跑过的大佬说下经验？另外想问下rank值一般设多少合适，我试了8和16，感觉没太大区别，是不是我任务太简单了？先谢过各位了。