部署7B大模型到生产环境，显存占用比预想高很多怎么办？

显存大头在KV cache和预填充，试试vllm的--kv-cache-dtype和--gpu-memory-utilization，把利用率拉满再看。

14G确实有点离谱了，不过也不是完全没可能。vLLM的显存占用不只是权重，KV cache才是大头，尤其你没限制max_num_seqs的话它默认会按可用显存尽量多分配。A10是24G卡，vLLM启动时gpu_memory_utilization默认0.9，也就是它会主动吃掉差不多21G左右，你看到14G可能只是还没跑满或者被别的进程占了。先试试把gpu_memory_utilization调低到0.6左右，再看显存变化，能立刻判断是不是预分配的问题。另外Qwen2.5-7B的GQA是7个KV head，4096上下文单请求的KV其实不大，但并发一上来就指数级涨。吞吐200 tokens/s偏低，建议看看是不是batch size根本没起来，用vLLM的metrics接口看running/waiting队列。定位显存可以用torch.cuda.memory_summary或者py-spy配合nvml，实在不行先跑个纯推理脚本对比vLLM的占用差异。还有个坑是GPTQ在vLLM里有时候会走marlin kernel，权重加载方式不同显存表现也不一样，可以试试AWQ对比下。