最近在做一个垂直领域的知识库问答,用的RAG架构。数据是PDF切块后embedding到向量库,top-k从5调到了15,召回率(hit rate)确实涨了不少,但生成答案却开始出现幻觉,甚至把不同文档里的信息拼错了。我怀疑是chunk粒度或者rerank的问题,也试过调prompt限制只基于上下文,但效果不稳定。有没有大佬遇到过类似情况?是应该降top-k还是换更精细的混合检索?或者干脆对chunk做摘要再入库?求个思路,实在有点摸不着头脑。
楼主
2026-08-20
RAG召回率上去了但答案质量反而变差,大家怎么调?
请 登录 后发表回复
全部回复
共 47 条
2楼
2026-09-14
top-k拉高确实容易这样,召回的东西多了噪声也跟着进来,模型分不清哪块该信哪块不该信。我之前也踩过这坑,后来加了个cross-encoder做rerank,把15个候选重新排一遍只留前5,幻觉明显少了。另外chunk切太碎也容易让上下文断裂,跨文档拼接就更容易出错,你可以看看切块时有没有保留标题和层级信息。
3楼
2026-09-18
top-k调大确实容易把噪声塞进去,先加个rerank压一压,比降k管用。
4楼
2026-09-19
top-k拉太高确实容易塞进噪声,先试加个rerank把无关块筛掉,chunk重叠也别太大。
5楼
2026-09-21
top-k拉太高肯定容易串味儿,先加个rerank卡一道,再把chunk切小点试试。
6楼
2026-09-21
top-k大了噪声也多了,先加个rerank筛一遍再喂给模型试试。
7楼
4天前
刚入门,这个对我帮助很大。
8楼
2天前
top-k调大召回率涨是正常的,但噪声也一起进来了,模型拿到一堆相似但无关的片段确实容易拼串。我建议先别急着降top-k,加个rerank试试,cross-encoder把真正相关的排前面,比单纯扩大召回靠谱。另外chunk粒度值得回头看看,PDF切块如果按固定长度切,经常把一个完整语义拆两半,检索到的片段本身就不完整,生成肯定出问题。我们之前做过chunk加轻量摘要再入库,对垂直领域效果挺明显的,你可以小规模验证下。