最近在做一个内部知识库问答,用的chunking+faiss+Qwen2.5-7B,embedding是本地跑的bge-small-zh。结果发现检索出来的top5经常文不对题,比如用户问“离职流程”,召回的全是“入职培训”相关段落。我怀疑是embedding模型太小,语义区分度不够。
楼主
2026-08-17
RAG用本地embedding模型效果差,换bge-m3还是直接上OpenAI接口?
请 登录 后发表回复
全部回复
共 62 条
2楼
4天前
刚入门,这个对我帮助很大。
3楼
5小时前
bge-small-zh确实有点吃力,尤其你们场景里“离职”和“入职”这种词面相近但语义相反的case,小模型区分度很容易翻车。我建议先别急着上OpenAI,试试bge-m3,它对中文语义的粒度比small强不少,而且本地跑成本可控,先拿几十条badcase对比一下召回效果再决定。另外你们chunking策略也值得看看,如果按固定长度切,流程类文档容易被切碎导致语义漂移,加点标题层级或重叠可能会好一些。