最近在试着把Llama 3.1 8B量化版（int4）部署到阿里云轻量服务器上，配置是2核4G，系统是Ubuntu 22.04。我用vLLM加载模型，结果刚启动就报OOM，一看内存直接飙到3.8G，根本跑不动。
是不是int4量化后还需要这么大显存？还是我漏了什么配置？比如设置max_model_len、gpu_memory_utilization这些参数？
另外，有没有社区大佬试过在CPU上跑小参数量模型（比如Qwen2.5-7B-Q4_K_M）的？加载后推理速度能到多少token/s？
主要是想做个简单的对话Demo，不求快，但求别动不动就崩……求指点！