最近在折腾把Qwen2.5-7B放到线上服务里，用vLLM部署，加了bf16和8个并发请求。官方说7B模型大概需要14GB显存，但我这边RTX 4090 24G居然直接爆了，跑到22GB左右。查了一下发现可能是kv cache太大了，但我只设了max_num_batched_tokens=4096，也没开长上下文。想问下大佬们，这个7B模型实际部署时显存到底怎么算的？是不是我哪里设置漏了，还是说量化或者换FlashAttention能解决？新人刚入坑大模型部署，恳请指点一下。