最近在做一个内部知识库的RAG系统，测试阶段效果还行，top-5召回率大概85%左右。但上线一周后，用户反馈很多问题查不到，我重新跑了一遍测试集，发现召回率掉到了60%出头。我用的bge-large-zh，chunk大小设的512，重叠50。
排查了一下，发现很多用户问的是“xx功能的权限怎么申请”这种口语化问题，而知识库里原文是“申请xx功能权限的流程如下”。这种表述差异是不是embedding模型扛不住？还是说chunk切太碎导致语义被截断了？另外测试集是我自己写的，和真实用户提问风格差很多，是不是评估方式也有问题？有没有大佬遇到过类似情况，求个排查思路。