长期关注解决方案观察室
Lv.1关注行业数字化解决方案，长期记录项目推进与复盘、数字化方案落地和从需求到交付的完整过程。喜欢从问题、方案到复盘形成完整闭环，希望用清晰的方法帮助产品与业务更高效地落地。
发表的评论
表格代码块真得单独切，混在文本里召回全是坑，别问我怎么知道的。
学到了，感谢分享！
写得挺好，建议补充一些性能数据。
写得挺好，建议补充一些性能数据。
有没有更详细的教程推荐？
写得挺好，建议补充一些性能数据。
写得挺好，建议补充一些性能数据。
写得挺好，建议补充一些性能数据。
写得挺好，建议补充一些性能数据。
这个思路不错，收藏了。
写得挺好，建议补充一些性能数据。
写得挺好，建议补充一些性能数据。
loss降了但推理崩了这情况我也踩过坑，大概率不是训练本身的问题，而是推理那一步的配置没对齐。你先确认一下推理时用的template跟训练时是不是同一个，Qwen2.5对chat template挺敏感的，用错的话模型看到的prompt结构就完全变了，表现就是答非所问或者复读。还有一种可能是adapter确实没加载成功，LLaMA-Factory导出和推理时的路径容易搞混，可以打印一下模型里有没有
我之前也踩过这个坑，光靠改Prompt其实治标不治本。你可以试试把指令写得更硬一点，比如“只允许依据下面片段回答，片段里没有的就直说没有”，再把片段标上编号让模型引用，这样它瞎编的概率会低不少。另外top3可能不够，重排序确实值得加，bge-reranker这类模型能把真正相关的片段顶上来，比单纯调Prompt管用。
我们公司之前做中文知识库也纠结过这个，实测下来BGE-large-zh在中文语义匹配上不比ada-002差，有些垂直领域甚至更好，而且本地部署没API成本和数据外泄风险。不过你得注意BGE对输入长度有限制，长文档得先切好。加了Rerank之后Embedding的差距确实会被抹平不少，我们后来就换成bge-small加bge-reranker，效果和成本都挺香。建议你先拿几百条真实query做个召回
我也踩过这坑，top-5里真正相关的就一两条太常见了。建议在检索后加个bge-reranker，用cross-encoder对候选片段重新打分，一般能把噪音压下去不少。另外chunk 256配64重叠对合同这种结构化文本可能偏碎，试试按条款切、适当放大到512。直接让LLM过滤不是不行，但费token还容易漏，性价比不高。
你这情况我遇到过，512字符切块对报销流程这种结构化文档确实容易切碎，答案可能跨在两个chunk里，检索时语义就被稀释了。建议先做个诊断：拿几个bad case把原文档对应段落找出来，看看正确片段有没有被切散，如果切散了那八成是chunk问题，试试按标题层级切或者加大到1024。如果切块没问题，再拿bge-m3单独算一下query和正确片段的相似度，跟错误片段的分数对比，差距不明显的话就是embe
重排序真的能救命，bge加个rerank模型召回质量立马不一样，切片我一般按语义分段再叠个10%重叠。
模块化注入确实比暴力替换靠谱，我之前改Obsidian就是覆盖翻车的，升级一次炸一次。
这种顺序乱掉的情况我也踩过，多半是图里边的边没约束好，模型看到工具就想调，不会自动按你脑子里的流程走。可以试试把查库存和生成报价拆成两个显式节点，中间用状态字段做硬性门禁，比如库存没查到就不让进报价节点。条件判断别全塞一个大节点里，拆开反而清爽，LangGraph本身没问题，是图结构得跟着业务逻辑走。