RAG上线后效果飘忽不定，是chunk粒度问题还是retriever该换了？

长文档切完检索漏细节，很多时候不是chunk_size的事，是切分把语义单元打断了。你试试按标题层级或段落边界切，再给每个chunk补一句上下文摘要前缀，召回质量会稳不少。另外本地top5好看不代表线上没问题，用户query的分布跟测试集差很远，建议先捞一批线上badcase看看是召回没到还是排序排丢了。混合检索加rerank确实能救，但那是第二步，先把切分和评估集对齐再说。

我遇到过几乎一样的问题，排查下来其实是长文档切分把跨段落的逻辑链切断了，embedding再强也救不回来。建议先把top5召回的片段和原文对照看几组badcase，确认是切分丢了上下文还是retriever本身没排上来。如果是前者，试试按文档结构（标题层级、表格）切，或者加个句子窗口扩展；如果是后者，再上hybrid加rerank也不迟。

我之前也踩过这个坑，本地测着挺稳，上线就抽风，后来发现很大一部分问题出在文档解析上，比如PDF表格和标题层级被拆得稀碎，chunk再调也救不回来。你可以先别急着换retriever，拿几条badcase把召回的片段和原文对齐看看，到底是切的时候就把关键信息切断了，还是检索阶段没排上来。如果切出来本身就缺胳膊少腿，那换bge还是m3e都白搭。另外线上和本地不一致，也得排查下索引版本、embedding模型是否真的同一份，还有用户query分布是不是比测试集野得多。chunk_size从200到800都试过还这样，我更倾向是切分逻辑没跟着文档结构走，比如按语义或标题切，而不是死磕固定长度。混合检索和rerank确实能救一部分，但那是第二步，先把切分和解析这条链路查干净再说。

我之前踩过几乎一模一样的坑，后来发现根子不在embedding换哪个，而是切分和文档结构完全脱节了。长文档按固定字符数硬切，很容易把一段完整逻辑拦腰截断，检索时query命中的是前半句，但关键细节落在被切走的后半段里，top5自然就飘。你可以先做个诊断：把那些“效果差”的case捞出来，人工看看召回的chunk和真正该被召回的内容差在哪，是边界切错了还是压根没进候选集，这两种情况修法完全不同。另外也别急着上rerank，混合检索加BM25有时候对专有名词和数字的补召回比换模型更立竿见影，但它治的是召回不全，治不了切分错位。我现在比较推荐先用语义切分或者按标题层级切，保留一点上下文冗余，再叠加一个小rerank模型，收益比单纯调chunk_size大得多。

我和你踩过差不多的坑，最后发现是PDF解析把表格和标题都揉成一段了，chunk再调也没用。建议先把召回的top20打印出来人工看看，到底切成了什么鬼样子，八成能定位问题。加个rerank确实能救急，bge-reranker跑一遍top50效果立竿见影，但别指望它根治切分烂的毛病。混合检索对长文档里的关键词匹配帮助挺大，可以先小范围试试。

长文档光调chunk_size没用，得按标题层级切。建议先加个rerank试试，基本能救回来。

先别急着换retriever，拿几条漏召的query单独跑一下embedding相似度，看是切分把语义切碎了还是向量本身没匹配上。