最近在折腾把7B的模型部署到一张16G显存的卡上（RTX 4080），用了4bit量化，模型是能跑起来了，但生成速度大概只有5-7 tokens/s，感觉比本地跑小模型慢太多了。我查了一下，好像跟显存带宽、推理框架（我用的是llama.cpp）和线程数都有关系？但具体怎么调优不太清楚。有没有大佬分享一下实际部署经验？比如是用VLLM还是TGI更好？或者是不是16G显存本身就带不动7B？我主要是想做个API给内部测试用，吞吐量不需要太高，但延迟希望能降到2-3秒以内。求指条路！