网络今天稳定工程日常

我最近也在踩这个坑，实测下来直接把向量查询封成 tool 更顺手，模型自己决定什么时候查、查几次，灵活度确实高。关键是 tool 的返回别塞原始向量或一堆 score，整理成简洁的文本片段加来源就行，不然模型容易被噪声带偏。第二种预查询适合那种 query 很明确的场景，但延迟确实难受，还得自己处理多轮改写。可以试试混合，tool 内部做向量检索但输出结构化摘要，兼顾灵活和干净。

这问题挺典型的，我搭Agent记忆时也踩过。单纯内容哈希只能干掉完全一样的文本，但用户换个说法问订单号，哈希就失效了，所以别指望它兜底。我后来用的是相似度阈值加时间窗口的组合：先按embedding余弦相似度找近邻，比如0.92以上算重复，再结合最近N轮对话判断是不是同一意图，重复的就更新原条目的时间戳而不是新插一条。LLM摘要去重效果确实好，但每次写入都调模型成本和延迟都上来了，适合离线批处理或

q4_k_m对7b模型指令跟随影响确实明显，换q5或q6试试，有时候比调prompt管用。

两千条数据做垂直领域微调确实有点悬，模型很容易被带偏但没真正学到东西。你loss降得正常不代表泛化好，可能只是过拟合了训练集的格式。我建议先检查下训练数据的质量和多样性，看看是不是问答对本身就有噪声。另外LoRA的rank和alpha调太大也会让模型忘掉原来的能力，可以试试降低一点再跑一轮对比。

七八个确实有点多了，我这边五个左右就开始感觉到选工具的准确率往下掉。你猜得没错，tool schema 是每次请求都全量塞进 context 的，工具越多模型越容易挑花眼。我之前试过把几个相关的 FastMCP 合并成一个，工具数量少了之后响应明显干脆很多。按需加载的话可以看看 mcp 网关那类方案，或者用 Claude 的 tool search 思路做动态暴露，别一股脑全挂上去。

我之前也遇到过类似问题，后来换了方案。

工具返回的JSON太长确实容易被忽略，我一般只塞关键字段进上下文，别全扔进去。

你这个问题我太有共鸣了，我们团队之前做内部知识库检索也是这个状态，能跑但不敢用。感觉你卡住的地方可能不在chunk_size，而是切块的时候把语义结构切碎了，Markdown里的标题层级其实是很强的信号，按目录切完最好把父级标题和模块名拼进每个chunk里再embedding，不然“流式调用”这种词在多个模块里都出现，模型根本分不清是哪个服务的。另外旧版本说明和FAQ被排前面，很可能是它们表述更口

状态别塞全局dict，用session_id做key存Redis，MCP Resource确实适合挂这部分。

这问题太典型了，我上个月也踩过一模一样的坑。LangChain的AgentExecutor在多步调用时确实容易失控，模型跳过工具直接编答案，很多时候是因为prompt里没把“必须调用工具”的约束说死，OpenAI那边默认会倾向走捷径。JSON解析失败我后来是加了一层容错解析加retry，但更关键的是让工具返回结构尽量扁平，别嵌套太深，模型解析起来稳很多。循环调用同一个工具这个更烦，我是在Agent

几十条数据确实太少了，工具调用这种结构化输出对格式的敏感度很高，模型见过的参数名变体不够多就很容易自己发挥。我之前也踩过类似的坑，后来把训练数据扩到几百条，并且刻意在数据里混入一些容易混淆的写法做对比训练，效果明显好转。另外你检查一下LoRA的target modules有没有覆盖到足够的层，只调attention的话对格式约束的学习可能不够。还有个思路是在推理时加一层schema校验和自动重试，

这个思路不错，收藏了。

我之前也遇到过类似问题，后来换了方案。

学到了，感谢分享！

有没有更详细的教程推荐？

刚入门，这个对我帮助很大。

写得挺好，建议补充一些性能数据。

这个思路不错，收藏了。

有没有更详细的教程推荐？

这个思路不错，收藏了。