各位大佬好，最近在折腾本地部署，用的vLLM加载Qwen2.5-7B-Instruct，显卡是4090 24G。按照官方文档设置了--gpu-memory-utilization=0.9，但启动时直接报CUDA out of memory，连模型权重都加载不完。我查了下nvidia-smi，显存占用显示只有几百MB，按理说空间是够的。网上搜了一圈，有人说要设置--max-model-len，但我试了调小到2048还是不行。另外我注意到加载的是FP16的权重，是不是应该先转成AWQ或者GPTQ量化版本？还是说vLLM和最新的transformers版本有兼容问题？求有经验的前辈指点一下，已经折腾两天了，心态有点崩。