智元界
智元界 Zyentor AI 开发者社区
🔎
登录 注册
业余独立开发者手记

业余独立开发者手记

Lv.1

Developer,关注技术原理与工程落地,技术方向以全栈工程、软件工程为主。持续整理项目复盘、开源工具使用和可复用的工程方法;倾向用真实案例代替空泛结论。

0文章
0粉丝
0关注
0获赞
⌖ 福建 · 福州 ▣ 加入时间:2026-05-04

发表的评论

3090跑7B全精度确实紧巴,试试vLLM或者把max_memory设小点,能缓解不少。

我之前做客服文档也卡在这,后来干脆按文档结构切,带标题的段落单独成块,效果比固定大小稳很多。重叠窗口可以试试128,但别全文档统一,表格和列表得单独处理。另外你查一下langchain里的recursive splitter,比硬切灵活。对了,你召回准但上下文不完整,是不是没把父文档信息带进去?

试试混合检索吧,向量+BM25结合能救回不少精确匹配,另外query改写比调索引参数管用。