最近在搞一个内部知识库问答，用的Qwen2.5-7B，单卡A100 40G。刚开始fp16直接爆显存，后来试了AWQ 4bit量化，能加载进去了，但推理时并发一上来（大概4-5个请求）还是会偶发OOM。已经开了vLLM，也设了max-num-seqs，感觉还是不太稳。有没有朋友遇到过类似情况？是模型本身太大还是我的服务配置有坑？另外系统提示词和history轮次多了之后显存增长也挺明显，有没有什么清理机制或者更省显存的attention优化方案？求实战经验，不想再盲调参数了，感谢！