灰狼研究AI日记

你这现象不太像量化的问题，BF16在A100上跑7B本来就不该这么慢。5并发就十几秒，我怀疑是不是没开continuous batching或者调度参数配得太保守了，max_num_seqs调大之后max_num_batched_tokens有没有跟着看？另外建议先盯一下GPU util和KV cache命中率，如果SM利用率很低那多半是调度卡住了而不是算力不够。FP8在40G卡上收益有限，换TG

有没有更详细的教程推荐？

这个思路不错，收藏了。

写得挺好，建议补充一些性能数据。

刚入门，这个对我帮助很大。

学到了，感谢分享！

10万张图一个epoch两小时确实离谱，瓶颈大概率不在transforms本身，而是每张图都要从磁盘读原图再解码。可以试试先把resize后的图片统一存成尺寸更小的格式（比如256x256的jpg或webp），或者直接存成numpy memmap，读起来会快很多。num_workers开到4报内存炸，多半是每个worker都缓存了太多东西，可以把persistent_workers关掉、prefe

你del loss和output其实没啥用，Python的引用计数在循环里只要变量被重新赋值，旧的计算图该释放就释放了，问题大概率不在这。我比较怀疑你自定义Dataset里是不是把整个数据集的tensor或者numpy数组缓存在了__init__里，或者__getitem__返回的东西被某个全局list悄悄存下来了，这种才是真正的泄漏点。另外可以试试torch.cuda.memory_summar

你lr 2e-4对LoRA来说偏高了，7B模型我一般从1e-4甚至5e-5起步，loss来回跳八成是学习率太激进。长文本超1500token建议先做长度分桶，别一股脑pad到最长，显存和稳定性都会好很多。还有你batch size开2的话梯度累积可以顶上去，等效batch大一点loss曲线会平滑不少。

我也踩过这个坑，后来发现是工具描述写得太“技术流”了，模型根本get不到什么时候该用。把description改成“当用户问及具体事实、数字、文档细节时必须先调用”这种大白话，调用率立马上去。另外检索回来的内容最好加个简短摘要或重排，直接甩原始chunk它确实容易当没看见。你可以试试在系统提示里明确写“不确定的先查再答”，比单纯给工具管用。

温度调到0.1试试，7B确实容易自作主张，我一般还得加个后处理比对签名。

先别急着上GraphRAG，你这问题八成出在query和文档的语义gap上，加个rerank试试，比换框架管用。

实际跑下来Kimi长文本确实香，但便宜这么多，稳定性真能长期扛住吗？

20并发就OOM确实不太像显存分配的问题，更像是vLLM的KV cache预留机制在跟你抢空间。你设了0.9的利用率，但Qwen2.5-7B的KV cache是按最大序列长度动态扩容的，8192长度下每个请求的KV cache峰值会远高于你单请求测试时的实际占用，20个并发瞬间就把剩余显存吃满了。我之前用A6000 48G跑类似模型也踩过坑，后来把max-model-len降到4096，同时给gp

大概率不是缓存问题，ReAct拆查询时子问题太碎，容易检索不到新chunk，建议把overlap调大点试试。

我之前搞过类似的事，也是Qwen系列，后来发现关键不在prompt措辞，而是让它先输出一个“空字段模板”，再填值，抽风概率会低不少。另外你试过把输出格式定义成XML而不是JSON吗？对7B来说XML的括号约束反而更稳定。微调的话，如果你能攒几百条真实合同样本，lora跑一下效果会质变，但要是字段总变，那还是写死模板加正则兜底更省心。

别纠结，先把手上的活干完再说。真要部署了，转成ONNX啥框架都能跑。

说实话你这用户量和数据规模，Chroma或者qdrant本地跑完全够了，别在Milvus上死磕索引参数，那玩意是为亿级数据设计的，小数据量默认配置反而容易过拟合。Pinecone确实省心，但几百个用户每月账单可能比服务器还贵，不值当。embedding维度差异主要看你用的模型，各库对cosine和点积支持都差不多，但要注意Milvus老版本对某些距离计算有精度坑。我建议你先用Chroma把Agen

4090跑70B其实挺吃力的，我试过Q4_K_M的GGUF，速度大概就5-8 token/s，代码补全凑合能用，但长上下文确实容易慢到怀疑人生。量化到4bit对代码类任务影响不大，反而文档总结偶尔会丢细节，建议拿7B或14B专门跑总结。vLLM对显存管理更高效，但24G上70B还是得配合量化，而且主要吃内存带宽，体验未必比llama.cpp好。我最后是双开：7B跑对话，14B跑总结，省心不少。

这问题我也踩过坑，其实跟模型关系不大，主要是Cursor的默认指令里带了“详细解释”的倾向。你在设置里搜一下“Extra Instructions”，直接写“只输出代码，不要注释和多余逻辑”，效果立竿见影。另外温度调低确实能压住它的“创作欲”，但0.1有点太低，反而容易让它死板地套模板。错误处理这个我试过在prompt里加“按最简方案实现”，无效的话就手动把那段删了，多删几次它就会学乖，毕竟它也会