最近在搭一个本地知识库的Agent，想让它能记住用户之前的对话偏好。目前用OpenAI的embedding把文本切块后存到ChromaDB里，但数据量到几万条后检索速度明显变慢了。看社区都在推Milvus，又怕部署运维太重，毕竟我就一台4核16G的服务器，还得跑Agent本身。想请教下各位，这种规模下有必要上Milvus吗？还是把ChromaDB的索引参数调一下就行？另外Pinecone这种云服务暂时不考虑，因为数据比较敏感。如果有其他轻量方案也欢迎推荐，先谢谢大家了。
最近在搭一个本地知识库的Agent，想让它能记住用户之前的对话偏好。目前用OpenAI的embedding把文本切块后存到ChromaDB里，但数据量到几万条后检索速度明显变慢了。看社区都在推Milvus，又怕部署运维太重，毕竟我就一台4核16G的服务器，还得跑Agent本身。想请教下各位，这种规模下有必要上Milvus吗？还是把ChromaDB的索引参数调一下就行？另外Pinecone这种云服务暂时不考虑，因为数据比较敏感。如果有其他轻量方案也欢迎推荐，先谢谢大家了。
几万条数据Chroma就卡，有点反常，你确认下是不是没建HNSW索引、还在暴力检索？我这边十万级用chroma持久化模式也还能接受。4核16G单机跑Milvus说实话有点勉强，光etcd和minio就吃掉不少资源。要不先试试Qdrant或者LanceDB，轻量很多，性能也够你这个量级。