部署本地大模型做Agent一直报显存不足，是我姿势不对吗？

多工具调用场景下KV Cache涨得特别快，因为每次工具返回的结果都会拼进上下文，第二轮直接翻倍，AWQ 4bit省的那点权重显存根本扛不住。你可以试试限制工具返回长度，或者把历史对话做摘要压缩再喂回去。显存碎片化的话，vLLM的PagedAttention或者开个PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True能缓解不少。另外确认下是不是每次调用都重新load了模型，那OOM就太正常了。

多工具调用确实会让KV Cache爆得特别快，尤其是搜索返回一堆长文本的时候，上下文直接膨胀。你可以试试开vLLM的enable_prefix_caching，再限制一下单次工具返回的token上限，别让网页原文全塞进去。碎片化那块用PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True基本能救回来不少。另外AWQ 4bit在长上下文下激活值占用比你想的高，7B挂三个工具的话建议还是上16G卡。

AWQ 4bit看着6G，但Agent场景下多轮工具调用会把prompt撑得特别长，KV Cache增长速度远超你想象，尤其工具返回的网页内容一大坨全塞进去。可以试试限制工具返回长度、开KV Cache量化，或者用vLLM这类带PagedAttention的推理框架，碎片化能好不少。另外nvidia-smi看到的显存不一定准，建议用torch.cuda.memory_summary看真实分配。