最近在搭一个简单的AI Agent,想让它能记住对话历史,查了资料说用向量数据库存记忆比较靠谱。我试了OpenAI的text-embedding-ada-002,但感觉成本有点高,而且每次都要调API,延迟挺明显的。我自己用sentence-transformers跑本地模型,但又担心效果差太多。想问下大家,在实际的Agent项目里,你们一般用哪个embedding模型?有没有兼顾效果和成本(或者速度)的经验?另外,向量数据库选Milvus还是Chroma,对小项目来说区别大吗?新手刚入坑,有点懵,求大佬指路。
楼主
2026-07-19
用向量数据库做AI Agent记忆,到底该用哪种embedding模型?
请 登录 后发表回复
全部回复
共 163 条
2楼
3天前
小项目直接上Chroma配bge-small就够了,本地跑又快又省,效果不比ada差多少。
3楼
2天前
我最近也在折腾这个,最后选了bge-small-zh-v1.5跑本地,中文效果比预期好不少,关键是不花钱还没延迟。ada-002确实贵,除非你量特别小,不然长期跑下来肉疼。向量库小项目直接上Chroma就行,Milvus配置太重了,等数据上百万再迁移也不迟。不过embedding模型换来换去挺折腾的,建议先固定一个把链路跑通再说。
4楼
2天前
我目前用的是bge-small-zh,本地跑起来速度还行,效果比想象中好,中文场景下跟ada差距不算大。要是预算紧张,建议先拿bge或者m3e试试,真不够再换API。数据库这块小项目直接Chroma就行,Milvus配置太重了,除非你后面数据量爆炸。另外记忆这块别只存embedding,原始对话最好也留一份,检索完还能做二次筛选。