深夜效率工具成长录

我也踩过这个坑，感觉chunk size真没有万能值，得看文档本身的结构。我后来的做法是别按固定字符切，改成按标题层级切，接口和依赖如果本来就在同一节里，就自然落到一个chunk，跨节的问题再用父子块兜底，检索用小块、喂给模型用大块。你那个1500字符召回下降，我怀疑不完全是size的问题，而是切的时候把语义边界切断了，可以试试按段落或句子边界切，再控制token上限。sliding window

写得挺好，建议补充一些性能数据。

刚入门，这个对我帮助很大。

学到了，感谢分享！

这个思路不错，收藏了。

这个思路不错，收藏了。

正常，我也有过这感觉，后来逼自己每周手写个小模块才缓过来。

这个情况挺常见的，不完全是Prompt模板写得不够狠的问题。Claude这类模型在对话场景下天然倾向于“解释一下自己在干嘛”，哪怕你反复强调只输出JSON，它还是会把对话习惯带出来。我现在基本不靠Prompt去保证格式，而是用tool use或者function calling来约束输出，MCP里可以直接定义一个返回结构化数据的工具，让模型走工具调用的路径，JSON就稳很多。另外你也可以在Prom

我遇到过类似情况，问题可能出在例子本身太“强势”了。few-shot不是越多越好，尤其当示例和当前文档主题接近时，模型很容易把示例里的实体或句式直接搬过来。建议试试只留一个例子，或者把示例改成抽象格式（比如“原文：...→摘要：...”但内容换成不相关的领域），再补一句“不要照搬示例中的信息”。另外顺序也有影响，把指令放在示例后面有时比放前面更稳。

我踩过这个坑，纯内容哈希不太行，因为用户多打一个“啊”就成新向量了。后来改成先算相似度，超过0.92就直接更新原记录的时间戳和内容，不新增。LLM摘要成本高还慢，适合离线做冷数据合并，实时去重还是靠阈值加时间衰减比较稳。

你这个问题我踩过，top20召回其实噪音挺大的，模型很容易被带偏。我后来是把重排加上了，先筛到top5再喂给模型，Prompt里再明确说“如果上下文没有直接答案就说不知道”，效果稳很多。另外query重写确实有用，特别是口语化问题，可以先让模型扩成几个关键点再检索。系统提示词固定角色有用但不够，最好在user message里再强调一次“只基于以下片段总结，不要照抄”。

意图识别前置会稳很多，多轮场景下先锁定业务域再检索。

我之前也踩过这坑，后来给每个工具单独加了参数校验和上下文隔离，基本就不串了。

16G跑7B确实有点勉强，尤其是还要留显存给KV cache和工具调用的上下文。我之前用Qwen2.5-3B加llama.cpp的Q4量化，8G卡就能跑得挺顺，Agent逻辑也不卡。你要不试试把模型换小一点，工具调用那层用function calling的模板直接约束输出，别让模型自由发挥，乱码问题会好很多。另外检查下是不是每轮都重新加载模型了，那样显存肯定炸。

vLLM和TGI我都用过，TGI部署简单点，但vLLM吞吐确实更猛，预算紧就vLLM加AWQ量化，4bit掉点其实没想象中严重，先跑通再优化。外部API那块建议直接上tenacity做重试加指数退避，再配个断熔，不然一个超时能把整个Agent卡死。低成本的话可以看看有没有闲置的A10或者4090，别一上来就A100，内部客服并发没那么夸张。

3060 6G显存跑7B确实有点勉强，你那个“输出一个字等好几秒”的情况我太熟了，基本就是显存塞满后大量层被甩到内存里，CPU和GPU来回搬数据，速度直接崩。llama.cpp里--n-gpu-layers能拉多少拉多少，但6G扣掉系统占用和上下文缓存，实际能塞进去的层数很有限，别指望调到飞起。线程数这东西不是越多越好，你试试设成物理核心数，比如8核就开6到8，开超线程反而可能更慢。量化等级从in

我之前也碰到过类似的情况，7B量化版做代码补全确实有点力不从心，尤其是你写到一半它突然断掉，很可能是模型的上下文窗口或者max_token设置卡住了。你检查一下插件里有没有限制生成token数量的参数，有些默认值特别小，比如只给64或者128，那自然只能吐半截出来。另外补全和对话不太一样，它对FIM（fill-in-the-middle）格式的依赖很强，如果插件没正确构造prefix和suffix

MCP主要是统一协议省得每个工具都写适配，但并发写一致性确实坑，我们生产上直接绕开让它只读。

单卡A100 40G跑7B的LoRA，seq length 2048以上OOM其实挺常见的，不一定是batch size的锅。关键得看你的优化器状态和激活值占用，LoRA虽然冻结了原模型参数，但前向激活和gradient checkpointing的临时缓存还是吃显存的大头。你开gradient checkpointing后变慢是正常的，它本质是用计算换显存，一步十几秒在长序列下不算离谱。可以试试

查询时算embedding确实会拖延迟，建议入库和检索都走独立服务，Qdrant插件那套维护起来挺折腾的。