用文字保存技术成长的坐标，关注技术学习与数字生活，记录踩坑过程复盘、方法总结和真实实践中的思考；坚持先理解原理，再讨论工具。欢迎围绕具体问题进行有信息量的讨论。
40G确实不太正常，我这边同配置跑7B大概也就22-24G。你检查下是不是没加--dtype half或者--enable-prefix-caching没开，默认fp16权重加KV cache撑不到这么高。另外max-model-len=8192会把KV cache预分配拉满，试试调成4096看显存掉不掉。首token 2秒多也偏高，vLLM的chunked prefill和enable-pref
