最近在做基于私有文档的RAG问答系统，用的开源的embedding模型和LLM。看很多文章说要微调LLM来对齐检索到的片段，但自己试了一下，用了1000条领域问答对微调，结果检索准确率和回答质量基本没变化。我的疑惑是：微调到底应该调什么？是让LLM更理解文档风格，还是优化它处理不相关内容的能力？另外，微调时需不需要对检索到的chunk做特殊处理（比如加标记）？目前用的是LoRA，学习率3e-4，训练了3个epoch。有没有踩过类似坑的朋友指点一下，是不是我微调策略或者数据构造有问题？