最近在折腾本地知识库，用vLLM部署Qwen2.5-7B-Instruct，开--max-model-len 8192，单卡A10（24G）。单线程测速还行，大概40 tokens/s，但一旦用gradio开个web demo，3-4个人同时问问题，显存直接爆掉，报CUDA out of memory。
楼主
2026-08-22
vLLM部署Qwen2.5-7B，并发一高就OOM，是量化还是换框架？
请 登录 后发表回复
全部回复
共 43 条
2楼
11天前
我之前也遇到过类似问题，后来换了方案。
3楼
1天前
A10 24G 跑 7B 全精度光权重就占 15G 左右，8192 的 KV cache 再一摊，并发三四个确实顶不住。可以先把 --max-model-len 降到 4096 试试，或者限一下 --max-num-seqs，很多时候不是模型本身的问题，是调度没控住。量化的话 AWQ 或 GPTQ 能省不少显存，精度损失在知识库问答场景基本感知不到。换框架倒没必要，vLLM 的 PagedAttention 本来就是干这个的，先把参数调对再说。
4楼
36分钟前
A10跑7B开8K上下文确实有点紧，vLLM默认的gpu_memory_utilization是0.9，但实际留给KV cache的空间没多少。3到4个人并发如果prompt都挺长，KV cache涨得很快，爆显存不奇怪。可以先试试把max-model-len降到4096，再调低gpu_memory_utilization到0.85左右，看能不能撑住。真要继续压，上AWQ量化比换框架省事，vLLM对量化模型支持也还行。