最近在折腾本地部署，用vLLM跑Qwen2.5-7B，服务器是两张RTX 4090（24G*2）。按说7B模型用FP16推理大概14G显存，加上KV Cache也够吧？但一启动就报CUDA OOM，试了调低max_num_seqs、换GQA，甚至只加载单卡，还是崩。后来看nvidia-smi发现显存被其他进程占了一部分，但就算全清空也只撑了半分钟。是不是我量化方式不对？或者vLLM版本太新有bug？求指点，卡在第一步好难受。