最近在做一个基于知识库的问答demo,用的是LangChain + 向量库的方案。遇到一个问题:检索top3出来的chunk拼起来有时候超过3000字,加上system prompt和用户问题直接超模型上下文了。试过调小chunk size,但召回质量明显下降,有些答案被切碎了。也试过只取top1,但经常漏掉关键信息。想问问大家一般怎么处理这种情况?是做什么重排序还是压缩?有没有比较实用的prompt层面或者工程层面的思路,求指点。
最近在做一个基于知识库的问答demo,用的是LangChain + 向量库的方案。遇到一个问题:检索top3出来的chunk拼起来有时候超过3000字,加上system prompt和用户问题直接超模型上下文了。试过调小chunk size,但召回质量明显下降,有些答案被切碎了。也试过只取top1,但经常漏掉关键信息。想问问大家一般怎么处理这种情况?是做什么重排序还是压缩?有没有比较实用的prompt层面或者工程层面的思路,求指点。
暂无回复,快来抢沙发吧