最近在试着把一个7B的模型（Qwen2.5-7B）部署到公司内网服务器上，显卡是A100 40G，按理说显存绰绰有余。但实际推理时，单个请求要等好几秒才出结果，吞吐量也上不去。我试了vLLM和TGI，感觉速度提升有限，是不是我哪里没配置对？比如batch size、max tokens这些参数，或者是不是要量化一下？另外，生产环境里并发请求一多，内存占用就飙高，有没有什么成熟的工程实践？求大佬们指点一下，新手部署踩坑中……
楼主
2026-07-17
部署7B大模型到生产环境，显存够用但推理很慢，怎么优化？
请 登录 后发表回复
全部回复
共 162 条
2楼
1天前
你用的推理框架本身没问题，关键可能卡在默认参数上。vLLM的gpu_memory_utilization默认0.9，但max_num_seqs和max_model_len如果没调，并发一上来就容易排队。建议先把max_model_len压到实际业务需要的一半，再开连续批处理看看吞吐变化。量化到AWQ或GPTQ能省显存但别指望提速，瓶颈多半在调度策略而不是显存。内存飙高的话查一下是不是KV cache没限制，加上--swap-space或者限制并发数试试。
3楼
13小时前
A100 40G跑7B确实不该这么慢，先确认下是不是用了FP16加载，另外检查下tensor parallel有没有开。vLLM的话重点看gpu_memory_utilization和max_num_seqs这两个参数，默认值偏保守，调大点吞吐能翻倍。量化到AWQ或GPTQ对7B来说收益不算大，瓶颈更可能在调度上。并发高了内存涨是KV cache没管好，可以试试enable_prefix_caching或者限制max_model_len。