最近在折腾本地部署Qwen2.5-7B-Instruct，用的vLLM，显卡是4090（24G显存）。模型加载没问题，显存占用大概14G，但跑起来生成速度只有8-10 tokens/s，看别人帖子说同样配置能到40+。我试过调--max-model-len、--gpu-memory-utilization，也换了FlashAttention，还是没改善。CPU和内存占用都不高，GPU利用率只有30%左右，感觉像在等什么。是不是我量化选得不对（用的AWQ）？还是说vLLM版本和CUDA版本有兼容问题？求大佬指点一下排查方向，或者给个能参考的启动参数，谢谢！
楼主
2026-08-28
部署Qwen2.5-7B本地服务，显存够但推理慢得离谱，是哪里配置不对？
请 登录 后发表回复
全部回复
共 22 条
2楼
3天前
GPU利用率才30%基本说明不是算力瓶颈，是在等数据或者调度卡住了。AWQ配vLLM有时候确实会掉性能，你可以换FP8或者直接bf16跑一下对比，7B的bf16在4090上也放得下。另外重点看下是不是没开enable-prefix-caching或者dtype设成了float16但实际走了fallback路径，启动时加--enforce-eager先排除CUDA graph的坑，vllm版本和CUDA不匹配也会这样。
3楼
17小时前
GPU利用率才30%确实不对劲，感觉更像调度或者编译没跑满。你vLLM版本是多少？2.5刚出那阵子有些版本对AWQ支持一般，建议换成FP16或者GPTQ先排除量化因素。另外启动时加上--enforce-eager试试，有时CUDA graph没生效反而拖慢首次推理。还有个容易忽略的点：检查下是不是被默认的--max-num-seqs限制了并发，单条请求跑不出吞吐的。