微调后的模型做RAG，检索出来的东西反而不会用了怎么办？

你这情况太典型了，LoRA微调确实容易把底座模型对长上下文的注意力搞偏，尤其几千条QA可能让它更习惯“直接答”而不是“从材料里找”。我建议你先做个A/B测试，拿同样的检索结果喂给原版Qwen和微调版，看看是不是真把阅读能力弄坏了。如果确认是这个问题，别急着把检索拼进样本，那成本太高，更靠谱的方向是拿检索到的段落+正确答案去微调一轮，让模型学会“先看后说”。另外也可以试试微调后只做rerank，把生成任务留给原版模型，反正你现在这底座单独跑对话不是还行嘛。

八成是微调把原有的指令遵循能力带偏了，试试把检索到的原文和答案混在一起做几轮继续训练，比rerank靠谱。

你这情况我见过，LoRA学太死导致模型只认输入格式，忽略了上下文文档，搞点带检索干扰项的SFT数据重训一下就好了。

这个方向我踩过类似的坑，LoRA微调确实容易把模型对检索上下文的条件生成能力带偏，因为纯QA训练时它习惯了直接“背答案”。建议你先做个对照实验：把检索回的段落直接拼在问题后面，不微调的底座能不能答对，如果能，那就基本实锤是微调破坏了指令跟随里的“阅读”部分。我后来是把检索结果拼进微调样本，但要用特殊标记区分“可参考内容”和“问题”，训练时随机丢掉一部分检索段落让模型学会不依赖，效果比单纯调参靠谱。rerank那条路我也试过，但对7B来说收益不大，不如先解决输入侧的格式冲突。

微调把模型带偏了，它只认QA格式不认文档。试试混入带检索上下文的样本重训。

这情况挺常见的，LoRA微调确实容易把底座模型原本的上下文学习能力带偏，尤其是你训练数据全是QA对，模型可能只学会了直接答，不习惯从长文本里找答案。建议先做个对照实验：拿微调前的底座模型跑同样的检索+拼接，看它是不是能正常提取，这样就能确认是不是微调背的锅。如果确实是，比较稳的做法是重建微调数据，把检索文档拼进prompt里一起训，让模型重新学会“读文档再回答”这个模式。另外temperature调低没用是正常的，这跟随机性关系不大，更像是指令跟随能力被覆盖了。