长期关注品牌增长记

写得挺好，建议补充一些性能数据。

按结构切比按字数切靠谱多了，试试先用标题层级和代码块、表格的标记把文档拆成语义块，再对超长块做二次切分，表格和代码尽量整块保留别硬切。你那个“日志模块怎么配置”查不到说明文字的问题，大概率是配置项和说明被切散了，可以在每个chunk前面拼上所属章节标题当上下文锚点，检索命中率会好不少。MCP那边我不太确定有没有现成切片工具，不过langchain的markdown splitter这类可以先在入库

先看看query时embedding模型和入库时是不是同一个，维度不一致就静默返回空。

口语化query这块可以试试query改写，用大模型把用户问题转成书面表达再检索，比HyDE轻量不少。

这个坑我去年也踩过，当时做售后意图分类，Prompt从300拉到1000 tokens，训练loss看着挺漂亮，上线后模型全在复读背景设定。后来我意识到问题可能不在长度本身，而在训练和推理时的分布一致性——你训练用长Prompt，测试用短输入，模型当然懵。我现在的做法是训练数据里保留一定比例的长短混合，大概七三开，让模型见过不同信息密度的输入形态，泛化会稳一些。另外200和800两种你都试了，有没

这两个我都用过，说下实际感受。Pinecone确实省心，开箱即用，延迟稳定在几十毫秒，top5召回也够用，但数据量上去之后那个账单是真的肉疼，尤其是你Agent如果高频调用，一个月下来费用能吓一跳。Milvus自建的话，运维没那么恐怖，用docker compose或者helm起一套standalone版本其实挺快，但真要上生产集群，index类型选择、内存规划这些还是得花时间调，坑主要在这儿。召

刚入门，这个对我帮助很大。

刚入门，这个对我帮助很大。

这个思路不错，收藏了。

刚入门，这个对我帮助很大。

角色设定确实容易让模型“戏太多”，我一般只留一句身份，关键约束全塞用户输入里重复一遍，反而稳。

试试把“只基于上下文”改成“找不到就说不知道”，再让检索片段带上来源标记，模型会老实很多。

固定500字符切确实容易把语义切碎，尤其是合同这种结构化文档。我一般会先按标题层级切，再在段落内做二次切分，效果会好不少。另外你可以试试加个rerank模型，先粗召回再精排，能压掉不少不相关片段。

几万到百万这个区间其实Qdrant挺合适的，单机docker就能跑，后面要扩也能上集群，迁移成本比Milvus小不少。Milvus功能确实全但那个部署复杂度，小团队维护起来真的累，etcd、minio一堆东西。Chroma做demo无敌，但生产我是不太敢用，之前遇到过数据量上来之后查询明显变慢。其实还可以看看pgvector，如果你们本来就有Postgres，几百万级完全够用，省得再维护一套。

这种顺序乱跑的情况我也遇到过，本质上是让LLM自己规划步骤太不可控了。我后来改成用LangGraph把流程拆成显式节点，订单查完再走物流分支，工具调用就老实多了。你要是坚持用ReAct那套，可以试试在prompt里把前置条件写死，比如“查物流前必须已有订单号”，但说实话不如直接上状态机稳。

我也遇到过这个坑，后来发现让模型“考虑边界”基本没用，它压根不知道你的数据长啥样。我的做法是prompt里直接列几个具体的边界例子，比如“输入可能是空list、含None、或数字超过1e10”，比泛泛地说“考虑所有情况”管用很多。另外我会让它先写函数签名和docstring，再生成实现，这样它自己会先把异常情况想一遍。不过说实话，最后该review还是得review，AI写的防御代码经常是假防御，

这个坑我踩过，大概率是Agent框架的多轮拼接把微调时的格式分布带偏了。LoRA学到的JSON模式其实很依赖prompt结构一致，工具调用一插进来，历史消息和system prompt一变，模型就懵了。建议先固定住system prompt和输出模板，把工具返回也包成统一格式再喂回去，看看单轮和多轮是不是同一套上下文。另外3000条数据里如果混了带工具调用的样本，最好单独标出来做对比测试。

我之前也踩过这个坑，rerank本质是在候选集里挑更相关的，候选全是错的它也没法凭空变出来。你这个CMS简称的问题，最直接还是query改写加同义词词典，或者上混合检索让BM25兜一下。微调reranker收益不大，不如先把召回这层修好。

IVF_FLAT想上95%太难了，1.2亿数据直接换HNSW吧，nprobe再高也救不了量化损失。

我一般会在项目根目录放一个 .cursorrules 文件，把技术栈、组件库、目录约定都写进去，这样每次对话它都会自动带上这些上下文，比每次手动贴 package.json 省事多了。你说的 Ant Design Table 那个问题，其实可以在 Prompt 里直接点名“使用 src/components/BaseTable”，并且把那个组件的 props 接口简单描述一下，它就不太会乱引第三方