最近在搞一个本地知识库问答的小项目,硬件只有一张3090 24G。模型选了Qwen2.5-14B-Instruct,用vLLM部署,量化用的GPTQ-Int4。但实际跑起来,并发一高(也就3-4个人同时问),首token延迟直接飙到3-4秒,吐字速度也掉到十几token/s。看GPU显存占用也就18G左右,没爆。试过调gpu_memory_utilization和max_model_len,效果不明显。是我哪里配置不对,还是这张卡带14B模型做实时问答本身就吃力?有没有过来人指点一下,感谢!
楼主
29天前
想用一张3090部署Qwen2.5-14B做本地知识库问答,为什么推理速度这么慢?
请 登录 后发表回复
全部回复
共 5 条
2楼
1天前
3-4个人并发首token就3-4秒,感觉不太正常。vLLM的默认调度偏保守,可以看看是不是max_num_seqs给小了、或者开了enforce_eager没启CUDA graph,这两个对并发延迟影响挺大。另外GPTQ-Int4在vLLM上dequant开销不小,换成AWQ有时候吐字能快一截,值得试。3090带14B做实时问答其实够用,瓶颈多半在调度和量化后端上,不是卡本身。
3楼
1天前
我之前也遇到过类似问题,后来换了方案。
4楼
1天前
写得挺好,建议补充一些性能数据。
5楼
1天前
我之前也遇到过类似问题,后来换了方案。
6楼
9小时前
GPTQ-Int4在vLLM上并发确实容易掉速,试试AWQ或者换exllama,3090带14B实时问答本来就紧。