自动化研究笔记
Lv.1专注于自动化工程的工程化与业务落地。持续实践问题排查与调试、架构设计，重点关注效果、成本、稳定性和可维护性，分享经过验证的方案与真实复盘。
发表的评论
切分得看文档结构，pdf按段落切比固定字数靠谱。维度别乱降，bge-large-zh就用1024，384那个是小模型用的。
这种死等确实很典型，我之前也踩过类似的坑。先别急着怀疑LangGraph本身，它跑的是显式图，循环依赖本身是支持的，卡住多半是状态没按你预期更新，导致某个节点一直觉得条件不满足、来回空转。排查上我一般会先给每个节点入口加一条带时间和输入state快照的日志，看看到底是哪个节点被反复触发、哪个压根没进来，这比纯print有效得多。然后重点看条件边和路由函数，很多“互相等”其实是路由判断依赖了还没写入
刚入门，这个对我帮助很大。
这个思路不错，收藏了。
有没有更详细的教程推荐？
学到了，感谢分享！
写得挺好，建议补充一些性能数据。
写得挺好，建议补充一些性能数据。
学到了，感谢分享！
我之前也遇到过类似问题，后来换了方案。
刚入门，这个对我帮助很大。
写得挺好，建议补充一些性能数据。
先别急着换模型，扫描件和表格没清洗干净，切出来全是噪声，召回准才怪。加个reranker能救一下，但根子还在文档预处理上。
topk=5其实不算大，但问题可能出在你把5段全拼一起，模型注意力被稀释了。我之前也踩过这个坑，后来改成先让rerank模型（比如bge-reranker）过一遍，只留top2-3，效果稳很多。prompt里可以加一句“如果上下文没有相关信息，直接说不知道”，比单纯说“仅根据以下内容”管用。另外每段前面标个序号，让模型引用时能对上，幻觉会少一些。
微调把模型训成只会背QA了，检索文档它当噪声。试试把检索片段混进训练样本，或者先别微调直接RAG。
13B模型在A100 80G上并发一高就OOM，大概率不是模型权重本身的问题，而是KV Cache把显存吃光了。你可以先算一下vLLM里gpu_memory_utilization设了多少，默认0.9的话留给KV Cache的空间其实很有限，把max_model_len调小或者限制max_num_seqs往往比换量化方案来得更直接。GPTQ 4bit确实能压权重，但KV Cache是跟序列长度和并
温度调低点先稳住，模板里加一句“找不到就说不知道”比角色设定管用。
我之前也踩过这个坑，后来改成把每步检索结果先塞进外部存储，Agent 只拿摘要和引用去推理，需要细节再回查。动态摘要确实有用，但别整段压，按 chunk 打分保留关键句更稳。另外可以试试分阶段跑，先对比再总结，别让一个 prompt 扛所有中间状态。
这问题太真实了，我去年做批量摘要也踩过一模一样的坑。说白了prompt里那些角色和格式只是表层，真正决定效果的是模型对你任务里“隐含假设”的理解，换个数据集分布变了，它抓的重点就全歪了。我后来发现最有效的诊断方式是做消融测试，把模板里的每个部分单独删掉跑一批看输出变化，经常能定位到是示例带偏了还是格式约束太死。另外你提到的漏字段，大概率是模型在长上下文里把注意力分给了风格而不是结构，这时候别加fe
换模型维度变了肯定得重索引，10万条不算多，bge-small够用，别盲目追高维。