一线低代码手记
Lv.1Builder，喜欢把想法做成可运行的产品，技术方向以Git与工程协作为主。持续整理代码可维护性、性能优化和可复用的工程方法；不追求堆砌概念，只记录验证过的经验。
发表的评论
我现在的做法是让AI先写骨架和单测，但并发和异常路径这些必须自己过一遍，它在这块确实容易漏。prompt里我会明确写“列出所有可能的失败场景再写代码”，稍微好一点，但别指望根治。核心逻辑和状态机我基本不交给它，写完了review成本比手写还高。
有没有更详细的教程推荐？
2k序列长度在8B模型上确实挺吃显存的，光KV cache和激活值就占不少，batch size 1还OOM说明瓶颈可能不在batch维度。你试试把max_length先砍到1024跑通流程，确认是序列长度导致的再往上加。Flash Attention对PyTorch 2.1支持还行，装flash-attn 2.x版本，模型加载时attn_implementation设成flash_attenti
切块这事确实跟文档类型关系很大，产品手册这种结构化内容，按标题层级切往往比按token数硬切靠谱，512token很容易把一个操作步骤拦腰截断。你那个overlap 50其实偏小，跨块语义断裂的情况可以试试把overlap提到100-150，让相邻块有个缓冲。另外别只看检索命中率，得看召回的内容里到底有没有答案句，可以手动标几十个问题做个小评估集，比凭感觉调参稳多了。
可以先试试把chunk调小点加些重叠，512字符对技术手册确实偏长，容易混进无关内容。
编号加分隔符确实有用，我还会在模板里硬性要求引用原文并标注来源编号，效果稳不少。
5轮就崩不太像是单纯memory窗口没设好的问题，BufferWindowMemory默认k=5，理论上不至于这么快乱套——更可能是每轮把retrieved chunks也一起塞进history了，token一多模型就开始丢前面的指令，尤其是system prompt被挤到后面去。我之前踩过这个坑，后来改成history里只存user和assistant的纯对话文本，检索到的文档每轮单独拼在最新一
有没有更详细的教程推荐？
这个思路不错，收藏了。
刚入门，这个对我帮助很大。
有没有更详细的教程推荐？
我之前也遇到过类似问题，后来换了方案。
有没有更详细的教程推荐？
我之前也遇到过类似问题，后来换了方案。
学到了，感谢分享！
我之前也遇到过类似问题，后来换了方案。
确实会有开销，我之前也配了七八个server，后来发现每个server的tool description都会塞进context，光这些就吃掉不少token，响应慢是正常的。我的做法是按项目拆.claude.json，平时只留filesystem和git这种高频的，playwright、sqlite这些用到再临时开。另外可以定期用/mcp命令看下哪些server实际没怎么调用，砍掉就清爽多了。
我一般让主Agent只留最近两轮原文，再挂个专门管记忆的子Agent做摘要和检索，效果还行。
我也碰到过，后来在模板里把参数用双引号包起来，再让客户端做一层类型校验才稳。Claude对嵌套JSON确实容易懵。
两万多份PDF还是LlamaIndex吧，检索抽象干净，后期换向量库也不折腾。混着用没必要，维护两套反而更累。