最近在做一个RAG项目，文档量大概几十万条，用的OpenAI embedding。一开始图省事直接上了Chroma，本地跑demo确实爽，但放到服务器上并发一高就有点扛不住，查询延迟飙到1秒多。朋友推荐换Milvus，说性能强很多，但我看了下文档感觉部署和维护成本不低，还要搞etcd那些。我其实就想要个能跑得稳、不用太折腾的解决方案，有没有用过的老哥说下实际体验？另外Pinecone这种云服务值得考虑吗，数据安全和成本这块靠不靠谱？提前谢过。
最近在做一个RAG项目，文档量大概几十万条，用的OpenAI embedding。一开始图省事直接上了Chroma，本地跑demo确实爽，但放到服务器上并发一高就有点扛不住，查询延迟飙到1秒多。朋友推荐换Milvus，说性能强很多，但我看了下文档感觉部署和维护成本不低，还要搞etcd那些。我其实就想要个能跑得稳、不用太折腾的解决方案，有没有用过的老哥说下实际体验？另外Pinecone这种云服务值得考虑吗，数据安全和成本这块靠不靠谱？提前谢过。
几十万条上Milvus单机版就行，etcd其实没那么吓人，稳得多。
几十万条文档其实不算大，Milvus单机standalone模式跑起来没那么吓人，etcd和minio都打包在docker compose里了，运维成本没你想的高。我之前从Chroma迁到Milvus，QPS提升挺明显的，延迟基本稳在几十毫秒。Pinecone的话省心是真省心，但数据出境和按量计费长期看钱包有点疼，量大了还是自托管划算。