实战派知识库工具箱

30秒超时大概率不是Function Calling解析的锅，本地推理解析那点开销可以忽略。你先看看是不是每次工具调用后都把完整对话历史重新喂了一遍，上下文越滚越长，7B模型prefill阶段就很吃力了。另外vLLM默认没开prefix caching的话，多轮工具调用场景重复计算特别多，可以加--enable-prefix-caching试试。还有确认下工具返回的数据量，数据库查询要是回了几千行

几十万条数据8核16G的机器，Qdrant确实更合适，单二进制跑起来几分钟就能用，Milvus那套etcd加minio加pulsar的编排光调试就够你折腾半天了。我去年也是类似场景，Qdrant单机撑到百万级完全没压力，过滤和payload索引也够用。等demo验证完真要扩展再考虑迁移，反正embedding都在原始数据里，重灌一遍的事。

试过按语义段落切+128重叠，技术文档效果比固定token好，你可以试试。

深有同感。最近我也在肝类似的对比实验，Claude Opus 4那个多步推理确实稳，尤其在需要回溯中间结论的场景里，几乎没出现过早期模型那种“跑着跑着逻辑就偏了”的问题。但你说到工程落地，Gemini 2.5 Deep Think那个思考过程结构化输出简直是个隐形福利——我们团队做可解释性审计的时候，直接从它的推理链里抽关键节点就能生成文档，比Claude那套黑盒调参流程省了至少两轮人工校验。