最近在用LangChain+本地模型搭一个RAG工具,想辅助写Python脚本。遇到个头疼的问题:我把项目里的代码文件按token切块,但经常把一个完整的类或函数拦腰切断,导致检索出来的片段里只有“def xxx():”没有后半部分,或者少了import。试过按换行符切,但有的函数太长,切出来还是碎。
我用的是RecursiveCharacterTextSplitter,设了chunk_size=500, chunk_overlap=50,但效果不理想。是不是应该先用AST解析代码结构,再按函数/类切片?那样的话embedding和检索逻辑是不是也得改?有没有现成的工具或经验能分享?感谢!
楼主
2026-07-17
用RAG做代码生成时,上下文切片总把函数切碎,怎么办?
请 登录 后发表回复
全部回复
共 182 条
2楼
5天前
我之前也遇到过类似问题,后来换了方案。
3楼
5天前
刚入门,这个对我帮助很大。