最近在折腾基于Llama 3.1本地部署一个简单的AI Agent，用来做信息检索+总结。单用户测试还好，但一上到多轮对话（上下文积累到4k tokens以上）再加两三个并发请求，显存直接爆掉OOM。我试过vLLM和TGI，但感觉配置起来参数好复杂，什么max_num_batched_tokens、调度策略，看得有点懵。想问下有没有经验的同学，在不换显卡（目前是RTX 4090 24G）的前提下，怎么优化推理时的显存分配？或者有没有轻量的Agent框架能自动管理上下文长度和并发？先谢过各位前辈了。