最近在用LangChain搭一个简单的RAG问答系统，文档是几篇技术PDF。我试了500、1000、1500三种chunk size，结果发现500时召回太碎，很多上下文断了；1500又容易把不相关的内容塞进一个块里，回答经常跑偏。想请教一下大家，chunk size一般怎么根据文档类型和模型来调？有没有什么经验法则或者可视化工具能帮忙判断？另外，overlap设多少比较合理？我现在全靠试错，效率很低，求指点。
最近在用LangChain搭一个简单的RAG问答系统，文档是几篇技术PDF。我试了500、1000、1500三种chunk size，结果发现500时召回太碎，很多上下文断了；1500又容易把不相关的内容塞进一个块里，回答经常跑偏。想请教一下大家，chunk size一般怎么根据文档类型和模型来调？有没有什么经验法则或者可视化工具能帮忙判断？另外，overlap设多少比较合理？我现在全靠试错，效率很低，求指点。
我一般按段落切，overlap设10%到15%就够了，再拿几个典型query跑一下看召回效果。
我是先按文档结构切，再拿几个典型问题跑召回看命中率，overlap给10%到15%就够，别纯靠数字试。