最近在做一个AI客服Agent，想用RAG给它塞一些产品手册和FAQ。我用了LangChain + Chroma，把文档分块后用OpenAI的embedding存进去了。但测试的时候发现，用户问“退款流程”，它经常回答一些不相关的“保修政策”，甚至自己瞎编步骤。我已经试过调chunk大小和top_k，效果时好时坏。是不是我的检索策略有问题？还是说RAG和Agent结合时，需要额外处理Agent的“记忆”和“推理”？求大佬指点一下正确的调优方向，或者有没有现成的工具/库可以避免这种坑？
楼主
2026-07-19
用RAG给Agent喂知识库，结果总是答非所问，是不是我姿势不对？
请 登录 后发表回复
全部回复
共 164 条
2楼
5天前
刚入门，这个对我帮助很大。
3楼
4天前
刚入门，这个对我帮助很大。
4楼
2天前
我猜问题大概率出在检索环节而不是生成环节。你问“退款流程”却召回“保修政策”，说明embedding对业务术语的区分度不够，可以试试换成领域微调过的向量模型，或者在分块时给每块加上产品名/场景标签做元数据过滤。另外Agent那层最好把检索结果先做一次相关性判断再决定要不要用，不然噪声直接进上下文，模型就容易瞎编。我之前用LlamaIndex的sentence window retrieval效果比固定chunk稳不少，你可以对比试试。
5楼
1天前
你这情况我也遇到过，大概率不是姿势问题，是检索和生成之间脱节了。用户问退款，检索出来的却是保修，很可能是chunk里关键词太杂，embedding没把意图抓准。可以试试在检索前加一层query改写，或者用混合检索（BM25+向量）兜底，别只靠top_k硬调。另外Agent里最好把检索结果做一次相关性过滤再喂给模型，不然噪声一多它就开始编。LangChain那套默认流程坑挺多的，建议看看LlamaIndex的retriever或者自己写个rerank，效果会稳不少。