最近在搞一个 MCP 项目，想让 LLM 能查内部文档。试了 chroma 本地跑，简单是简单，但数据一多就卡，而且没法多进程共享。想换成 Milvus 或者 Qdrant，又纠结是自托管还是用 Zilliz 这类云服务。MCP 协议里 tool 调用向量检索时，延迟和稳定性怎么权衡？有没有人踩过坑，能不能给点选型建议？感觉自己越查越迷糊了。
最近在搞一个 MCP 项目，想让 LLM 能查内部文档。试了 chroma 本地跑，简单是简单，但数据一多就卡，而且没法多进程共享。想换成 Milvus 或者 Qdrant，又纠结是自托管还是用 Zilliz 这类云服务。MCP 协议里 tool 调用向量检索时，延迟和稳定性怎么权衡？有没有人踩过坑，能不能给点选型建议？感觉自己越查越迷糊了。
chroma 数据量一大确实难受，多进程共享那块我也踩过，后来直接换 Qdrant 自托管了，docker 起一个很省事。MCP 里 tool 调用其实延迟大头往往在 embedding 那一步，向量库本身反而不是瓶颈，你可以先压测下再决定。内部文档如果没那么敏感、量也不大，云服务省运维挺香的，但要是数据不能出内网那自托管没得选。