部署本地大模型做Agent老崩，是显存不够还是我姿势不对？

7B玩Agent确实有点勉强，尤其是Qwen的工具调用prompt本身就长，加上多轮历史，KV cache膨胀得比你想的快，显存看着没满但碎片化严重。我建议先上GPTQ的4bit量化版本，然后给vLLM设个max-model-len限制在4k，再开continuous batching，能缓解不少。还有个坑是LangChain那层封装经常会把历史记录重复塞进prompt，你检查下是不是把系统消息和工具结果都拼进去了。真要跑复杂逻辑，14B的量化版体验会明显上一个台阶，但别指望单卡16G能多稳。

vLLM默认的continuous batching对多轮对话其实是吃显存的，特别是工具调用时每轮都要重新编码历史消息，7B半精度光KV cache就能吃掉好几个GB。建议先试试AWQ或GPTQ的4bit量化，显存占用能砍一半，再配合vLLM的--max-num-seqs调小点，应该能稳不少。另外LangChain那套工具调用prompt模板确实啰嗦，你可以手动精简一下system和工具描述，省下来几百token对长会话影响挺大的。实在不行就换Ollama跑，它对显存管理更保守，虽然吞吐低点但不容易炸。

我最近也在搞类似的，7B做Agent确实容易翻车，但你这个问题大概率不是模型参数量的问题，而是vLLM和工具调用这块的兼容性坑。vLLM本身对动态prompt拼接和工具格式支持得不算好，尤其多轮对话里如果每次请求都重新计算历史token，显存碎片化会越来越严重，看着没满但就是会崩。建议先换成transformers的流式加载或者用llama.cpp的server模式试试，后者对显存控制更保守。另外你检查下是不是context length设太长，7B的模型硬上32K上下文，KV cache会吃掉大量显存，实际用到的可能就几K，直接把max_model_len调小一半试试。至于量化，我个人觉得AWQ或者GPTQ的4bit在7B上损失不大，但工具调用的格式确实会让token长度膨胀，尤其带XML或者JSON schema的时候，所以建议把系统提示词压缩一下，别让每次请求都带全套规则。如果换了框架还崩，那就得怀疑是不是LangChain的中间层在循环调用时没释放历史消息，我后来干脆自己写了个状态机管理对话，反而稳了。最后说一句，14B未必比7B适合Agent，关键还是看你的推理框架能不能处理长尾分配，实在不行就上双卡张量并行，别让单卡硬扛。

vLLM起服务的话，7B其实挺吃KV cache的，尤其是多轮对话+工具调用时prompt会越攒越长，显存看着没满但碎片化或者预留不够就容易崩。我自己试过用AWQ量化版4bit，配合vLLM的--max-model-len调小点（比如8k），明显稳很多。你试试把gpu_memory_utilization设到0.85以下，给运行时留点缓冲，另外工具调用的system prompt格式确实会额外占token，可以精简一下。14B没必要，7B量化跑Agent逻辑绝对够用，多半是配置没抠细节。

显存没跑满但崩了，大概率是KV cache峰值爆了，试试把max-model-len调小点或者开continuous batching。

显存没跑满但崩了，八成是KV cache在作怪，多轮对话和工具调用会把历史token越堆越长，vLLM默认的预分配策略有时候会突然吃掉一大块显存。建议先试试把max-model-len调低到4K或8K，再加个--enable-prefix-caching，体感会稳很多。量化的话GPTQ 4bit够用，AWQ也行，但别用GGUF跑vLLM，格式支持太别扭。7B跑Agent确实有点吃力，尤其是工具调用那堆结构化输出，模型推理一长就容易乱，换个思路把工具描述精简点，或者干脆用function calling微调过的版本，比盲目上14B省心。你日志里有没有看到scheduler相关的warning？那条挺关键的。

显存没跑满但崩了，大概率是显存碎片化或者KV cache爆了，试试把max-model-len调小点。

用4bit量化加vLLM的continuous batching，7B跑agent完全够，问题多半在prompt模板把上下文撑爆了。

多轮对话OOM大概率是KV cache在涨，不是模型权重的问题。LangChain每轮把历史全塞进去，vLLM的gpu_memory_utilization默认0.9，留给KV cache的余量不够就容易崩。可以先试试把max_model_len压到4096以内，再开enable_prefix_caching，7B跑Agent够用的。工具调用的prompt确实吃显存，尤其JSON schema那堆描述token，建议换成Qwen的function calling原生格式，别用LangChain那套通用模板。

多轮对话和工具调用崩掉，八成不是显存不够，是KV cache随着上下文涨上去爆了。你看到显存没跑满，可能只是采样瞬间的读数，实际峰值在长上下文拼接的时候。7B跑Agent逻辑本身是够的，但工具调用的prompt模板会塞一堆schema进去，token消耗比你想的大得多。建议先把max_model_len调小点试试，再考虑上AWQ量化，vLLM对量化支持还不错。

你这情况大概率不是显存不够，是vLLM的KV cache没配好，多轮对话一长上下文暴涨直接爆掉。工具调用的prompt确实吃显存，尤其LangChain那套嵌套schema，token数比你想的多得多。建议先上AWQ或者GPTQ量化跑7B，再把gpu-memory-utilization压到0.85左右试试，max-model-len别设太大。7B跑Agent逻辑够用，但上下文管理得自己控制好，不然换14B也一样崩。