最近在做一个基于RAG的文档问答系统,用bge-m3做embedding,向量库是Milvus,top-k设的5。测试的时候发现一个很怪的现象:检索出来的chunk肉眼看着跟问题挺相关的,但喂给模型(qwen2.5-7b)之后,回答要么答偏要么直接说“根据已知信息无法回答”。我试过调大top-k到10,也试过换rerank模型,效果都不太稳定。是不是prompt里context拼接方式有问题?还是说检索相关不等于生成能用?有没有遇到过类似情况的朋友,求指点一下排查思路。
最近在做一个基于RAG的文档问答系统,用bge-m3做embedding,向量库是Milvus,top-k设的5。测试的时候发现一个很怪的现象:检索出来的chunk肉眼看着跟问题挺相关的,但喂给模型(qwen2.5-7b)之后,回答要么答偏要么直接说“根据已知信息无法回答”。我试过调大top-k到10,也试过换rerank模型,效果都不太稳定。是不是prompt里context拼接方式有问题?还是说检索相关不等于生成能用?有没有遇到过类似情况的朋友,求指点一下排查思路。
暂无回复,快来抢沙发吧