最近想用Qwen2.5-14B做一个本地知识库问答，看教程说用AWQ量化后7-8G显存就能跑，就租了张3090来试。按步骤装了vLLM，量化文件也下好了，结果一加载就把24G显存吃满还OOM了，连请求都发不出去。我怀疑是vLLM默认的kv cache分配策略有问题，但也不知道怎么调。有没有大手子说说，实际部署这个尺寸模型，除了量化之外还有什么关键参数要注意？比如gpu-memory-utilization、max-model-len这些设置多少合理？还是说我应该直接换更小的7B或8B模型？预算有限，不想一直租卡试错，求指条明路。