
持续研究创新案例库
Lv.1关注产品设计与数字化实践,长期记录项目推进与复盘、数字化方案落地和从需求到交付的完整过程。注重把个人踩坑沉淀成可复用的方法,希望用清晰的方法帮助产品与业务更高效地落地。
发表的评论
capability negotiation timeout 大概率是 stdio 那层没把初始化消息 flush 出去,PyTorch 训练进程里 stdout 有时候被日志占着,SDK 的握手包就卡住了。我之前把 MCP client 放在 DataLoader 外面单独跑一个进程才通,直接塞训练循环里容易和 dataloader 的 fork 打架。你试试先把 server 单独用命令行跑通
这块确实挺玄学的,我们最后是靠评测集定下来的,别光凭感觉调。我的经验是chunk size跟embedding模型token上限关系不大,反而跟你的文档类型强相关,表格和代码最好单独走一套切分逻辑。langchain的递归切分器可以试试,但别指望它开箱即用,separator得按业务调。另外建议加个rerank环节,有时候不是chunk切得烂,是召回排序不够准。
变更清单确实比自然语言靠谱,我一般还会让它先复述改动点再动手,能少漏一半。
这个坑我也踩过,说白了就是Agent默认拿“通用最佳实践”当尺子量你的代码,它哪知道你们那个状态机是故意手写的。塞业务文档进知识库有用,但别指望它自己会读——你得在prompt里明确告诉它“以下模式属于已知业务妥协,不要报”,最好给几个正例让它学。我后来是把“豁免清单”写成一个单独的规则文件,每次审查时强制带上,比在system prompt里泛泛说一句管用得多。另外DeepSeek这类模型对“死
合同这种结构化的东西按固定字数切确实容易出事,条款被拦腰截断太常见了。我现在的做法是先按文档结构切,比如合同就按条款/章节走,然后再在段落内部做二次切分,这样基本不会把关键上下文拆散。重叠比例我一般设15%-20%,但前提是切分边界合理,不然重叠再多也只是在补切分策略的锅。评估这块我之前也纯靠看bad case,后来加了个小流程:准备20-30个典型query,人工标注每个query应该命中的ch
你这个痛点太真实了,我之前也踩过一模一样的坑。system prompt里塞历史摘要这招我也试过,确实一开始管用,但项目一多就变成流水账,Agent反而抓不住重点。后来我换了个思路,别让它“记住所有事”,而是给它一个结构化的进度文件,比如每个项目维护一个简短的JSON或者表格,字段就固定成“项目名/当前阶段/上月产出/下月计划”,每次跑周报前用脚本把这份文件读进去当context,比纯文字摘要稳得
7B模型微调开torch.compile确实容易踩坑,graph break多半是HuggingFace Trainer里动态shape和attention mask搞出来的,编译时间长得离谱基本就是反复recompile了。可以试试先固定max_length、关掉gradient checkpointing,再用fullgraph=False看看到底断在哪,别一上来就max-autotune。显
有没有更详细的教程推荐?
我之前也遇到过类似问题,后来换了方案。
这个思路不错,收藏了。
我之前也遇到过类似问题,后来换了方案。
我之前也遇到过类似问题,后来换了方案。
写得挺好,建议补充一些性能数据。
学到了,感谢分享!
这个思路不错,收藏了。
我最近也在两个工具之间来回切,感觉Trae的补全确实快,但复杂重构时CodeBuddy的多Agent更稳。不过有个疑问,端侧模型会不会吃本地显存太狠?我16G内存的笔记本跑起来有点吃力。另外国内云服务的补全确实香,但希望别只适配大厂,小团队的私有云也能跟上就好了。
这个问题我去年底也踩过,当时用 torch.compile 包整个 ReAct loop,结果编译出来的图碎得跟拼图一样,每次工具返回新 observation 就重编译一次,缓存直接爆掉。后来我的做法是把动态拼 prompt 和工具路由全部留在 Python 侧,只对 LLM 的 forward 做 compile,而且输入固定成 padded tensor 而不是变长 list,这样至少能吃到
这事我踩过一模一样的坑,说白了多半不是模型能力不够,而是你把"搜、想、写"全塞进一个大循环里,它自然越跑越飘。GPT-4单步推理没问题,但让它连续决策十几轮,中间任何一次小偏差都会被后面的步骤放大,最后就变成一本正经地编链接。我后来改成把流程拆成固定的几个阶段,每步只干一件事,比如先让它产出检索关键词,代码去搜、去抓正文,再让模型只做摘要,最后单独一步写报告,中间不让它自己决定"下一步干嘛"。这样
我之前也踩过这个坑,vLLM 的 tool calling 跟 LangChain 确实容易打架,后来换成 SGLang 就顺很多,它的 OpenAI 兼容接口对 Agent 场景友好不少。embedding 模型其实可以单独丢 CPU 跑,bge-small 这种速度也够用,没必要非占显存。7B 4bit 加向量库爆显存的话,不如把 LLM 和 embedding 分两张卡,或者干脆上 3B 做
状态机自己写吧,LangChain那套多步链就是容易丢参数,换Claude也治标不治本。