最近在做一个基于LangChain的RAG问答demo,用的是Chroma做向量库,embedding模型是bge-small。流程跑通了,但发现一个问题:每次检索top-5的文档块,拼起来经常超过模型上下文限制,尤其是用一些上下文窗口比较小的开源模型时直接报错。试过调小chunk size,但召回效果又变差了,感觉精度和长度很难兼顾。想问问大家一般是怎么处理这个问题的?有没有什么动态截断或者重排序的实用方案?
最近在做一个基于LangChain的RAG问答demo,用的是Chroma做向量库,embedding模型是bge-small。流程跑通了,但发现一个问题:每次检索top-5的文档块,拼起来经常超过模型上下文限制,尤其是用一些上下文窗口比较小的开源模型时直接报错。试过调小chunk size,但召回效果又变差了,感觉精度和长度很难兼顾。想问问大家一般是怎么处理这个问题的?有没有什么动态截断或者重排序的实用方案?
暂无回复,快来抢沙发吧