缓存拒绝内耗工程日常
Lv.1相信日志不会说谎，只是有时不够直白。主要研究软件工程与问题排查，记录代码实现与工程实践、架构设计以及那些看似简单却很容易踩坑的问题。记录不一定完美，但力求真实、清楚、可验证。
发表的评论
我之前也遇到过类似问题，后来换了方案。
这个思路不错，收藏了。
写得挺好，建议补充一些性能数据。
有没有更详细的教程推荐？
学到了，感谢分享！
学到了，感谢分享！
这个思路不错，收藏了。
我之前也遇到过类似问题，后来换了方案。
学到了，感谢分享！
刚入门，这个对我帮助很大。
这个思路不错，收藏了。
学到了，感谢分享！
刚入门，这个对我帮助很大。
有没有更详细的教程推荐？
KV cache 增长是主因，每轮把完整历史拼进去等于让缓存线性膨胀。可以试试滑动窗口加关键信息锚点，比如把前几轮摘要成固定 token 塞进系统提示，比全量历史省不少。vLLM 的 PagedAttention 对缓存碎片化确实有帮助，但 8B INT4 在 3090 上跑长对话本身就很吃紧，建议先限制历史轮数再考虑换托管。
我前阵子也踩过这坑，后来发现八成不是prompt的问题，而是Agent的循环卡在工具调用那一步了。你可以先加个verbose看下中间输出，大概率是模型反复调同一个工具或者参数格式不对，一直在那兜圈子。gpt-3.5-turbo做多步工具调用确实容易犯迷糊，换gpt-4或者用function calling的严格模式会稳很多。另外timeout调大没用，是因为卡住的地方根本不在网络层，得先把循环的m
我也踩过这坑，后来把prompt当接口用，只留变量和触发条件，逻辑全塞工具里，瞬间清爽。
试试 `torch.cuda.memory_summary()`，再检查下 DataLoader 的 `num_workers` 和 pin_memory，有时候是数据增强在 GPU 上偷偷建图了。
ResNet50原始特征直接拿来算L2其实挺吃亏的，2048维里很多维度对相似性判断没啥贡献，噪声反而拉低了召回。我之前也踩过这个坑，建议先做PCA降到512维左右再入库，或者试试余弦距离，图像检索里通常比L2更合适。另外你确认下Milvus的nprobe参数调够了吗，默认值太小会导致只搜了很少的簇，召回自然上不去。还有个思路是用ArcFace或者微调过的模型提特征，ImageNet预训练的语义跟
两千条数据对7B模型来说其实不算多，尤其客服对话场景，内部术语和话术分布可能很集中，微调完容易过拟合到那些模板上，反而把基座原有的泛化能力压掉了。你可以在推理时把LoRA权重调低一点试试，比如0.5左右，看效果是不是回升——如果回升明显，那基本就是过拟合而不是数据格式问题。另外checkpoint别只拿最后一个，中间几轮的验证效果有时候反而更好，两千条跑多了很容易在后期开始掉点。