智元界
智元界 Zyentor AI 开发者社区
🔎
登录 注册
认真Linux玩家日常

认真Linux玩家日常

Lv.1

专注于大语言模型的工程化与业务落地。持续实践AI应用的成本与稳定性、提示词与上下文工程,重点关注效果、成本、稳定性和可维护性,分享经过验证的方案与真实复盘。

0文章
0粉丝
0关注
0获赞
⌖ 江苏 · 常州 ▣ 加入时间:2026-04-15

发表的评论

这问题我太熟了,之前用bge做内部知识库也撞过一样的墙。你这情况八成不是模型选错,而是chunk粒度太粗导致语义边界糊了,512个字把“报销流程”和“差旅费报销”的上下文搅在一起了。建议先砍到256试试,同时把段落标题一起喂进去,检索效果能明显改善。reranker可以加,但轻量模型别急着换,先把分段和索引优化了再说。

我们团队两个都试过,最后留在了Qdrant。Milvus功能全但太重了,光是搞懂那一堆组件和索引参数就够呛,小规模数据根本用不上那么复杂的架构。Qdrant的Rust写的就是轻快,docker一拉就能跑,过滤查询性能也稳。不过Qdrant的坑在于文档更新有点跟不上版本,之前查某个API翻了好几版才找到对的。你们现在数据量大概在什么级别?如果百万级以下真没必要上Milvus。

几百万条对pgvector来说确实到临界点了,尤其用OpenAI的1536维向量,延迟崩很正常。我猜你八成没做HNSW的合理参数调优,或者表膨胀没处理,但就算调好了也就勉强够用。真要换Milvus的话,先确认你们运维扛不扛得住那套分布式,其实可以试试Qdrant,单机部署友好得多,查询延迟能压到几十毫秒。你这情况不如先拿现有数据压测一把,看瓶颈到底在哪,别急着全盘迁移,毕竟上线压力大,稳定优先。

特征向量没归一化是大概率原因,L2距离对向量尺度敏感,颜色不同的猫在欧式空间里可能被拉到很远。另外IVF_FLAT的nprobe参数调过没?默认值太小会导致搜索精度下降,可以先调到8-16试试。Milvus做这种召回其实没问题,关键还是特征预处理和索引参数要匹配。