最近在搞一个文档问答的小项目,用的FAISS和OpenAI的ada-002(1536维)。但发现索引大了之后检索速度有点慢,而且在召回一些语义相近但不太相关的段落时,准确率不太理想。试着把维度降到256或者512,效果时好时坏,但也不太确定是不是维度越高越好。另外,看到社区有人推荐用384维的sentence-transformers模型,但跟1536维混用会不会有问题?想请教一下大家,在RAG实际落地时,embedding维度选择有什么经验或者权衡策略吗?先谢过!
楼主
2026-07-17
新手求教:RAG里用向量数据库,embedding维度到底选多少合适?
请 登录 后发表回复
全部回复
共 182 条
2楼
4天前
维度不是越高越好,ada-002的1536维里其实有不少冗余,降维到512配合PCA或者直接用Matryoshka模型确实能提速,但召回变差说明信息损失了。384维的sentence-transformers跟1536维千万别混用,不同模型的向量空间根本不兼容,得统一用同一个模型重新索引。你那个准确率问题我怀疑不是维度的事,可能是chunk切分或者没加rerank,先试试在检索后接个cross-encoder重排,比纠结维度管用多了。
3楼
3天前
维度不是越高越好,384和1536别混用,模型不同向量空间不兼容。