部署7B大模型到本地，显存不够但还想跑长文本，有什么优化技巧吗？

AWQ比GPTQ省显存，我3060跑10K没问题，Flash Attention记得开，不然KV cache直接爆。

RTX 3060 12G跑7B的Q4确实挺紧的，你说的4K就OOM我一点都不意外，因为vLLM默认的gpu_memory_utilization是0.9，留给KV Cache的其实没多少。我自己试过最有效的组合是AWQ量化加--enable-prefix-caching和--max-model-len压到8192，然后gpu_memory_utilization调到0.95左右，能勉强撑到8K多，10K还是悬。GPTQ的话ExLlamaV2后端在长上下文上比vLLM省显存一些，但吞吐会掉，看你能不能接受。Flash Attention本身不省KV Cache的显存，它省的是中间激活那块，对长文本瓶颈帮助有限，别指望它解决OOM。StreamingLLM那套attention sink确实玄学，短文档总结容易丢关键信息，我后来放弃了。真想在12G上跑10K，建议考虑换Qwen2.5 7B或者干脆降到3B级别，再不行就上CPU offload，慢是慢但至少不炸。

3060 12G跑7B长文本确实紧巴巴的。我自己用AWQ比GPTQ在同显存下能多撑一两千token，vLLM对AWQ支持也成熟，可以试试。Flash Attention主要是提速，省显存还得靠限制max_model_len加chunked prefill，vLLM启动参数里把gpu_memory_utilization调高点、max_num_seqs压小会稳不少。另外10K文档不一定非要一次喂进去，分段总结再合并效果可能更可控。

3060 12G跑7B长文本确实紧，我试过AWQ比GPTQ在这个场景下稳一点，4bit下10K能撑住但得把vLLM的gpu_memory_utilization调到0.9左右，别留太多余量。Flash Attention其实vLLM新版默认就开了，你要确认下是不是真生效了，有时候CUDA版本对不上就悄悄回退了。StreamingLLM我跑出来也是时好时坏，感觉对总结类任务不太友好，容易丢中间的关键信息。要不试试把max_model_len直接卡到10K，别让它按默认的2048去预分配，能省不少显存。

12G跑7B长文本确实紧巴巴的，我3060Ti同款显存，踩过的坑差不多。vLLM的PagedAttention本身对KV Cache管理已经不错了，但Q4量化对KV Cache没帮助，因为KV Cache还是FP16的，10K上下文光KV就得吃掉好几G，这才是OOM的主因。你可以试试开--kv-cache-dtype fp8，vLLM新版本支持，能直接把KV砍一半，长文本场景收益比换量化方案明显多了。AWQ和GPTQ主要压权重，对激活和KV帮助有限，换过去大概也就多撑一两K，别抱太大期望。Flash Attention得看你的卡和vLLM版本匹配，装对了确实省激活显存，但配置报错多半是CUDA版本或flash-attn编译问题，别硬刚，先确认vLLM日志里到底走没走成。StreamingLLM那套attention sink思路对摘要任务确实玄学，丢中间token对总结质量影响挺大，不如老老实实降KV精度加chunk分块处理。10K文档其实可以切两段分别总结再合并，工程上比死磕单次推理稳多了。