最近在试着部署一个70B的LLaMA模型做推理，结果发现单张A100 80G根本塞不下。我用的是FP16加载，但光模型参数就占了130G左右，更别说还有KV cache和中间激活了。我知道可以用量化或者模型并行，但对具体实现不太清楚。比如bitsandbytes的4bit量化会不会掉点很严重？还有，用DeepSpeed的ZeRO-3做多卡推理时，是不是每个卡都要装一个完整的模型副本？我目前手头只有两张A100，实在不想买新卡了。求各位大佬指点下性价比最高的方案，或者推荐一些能跑起来的开源工具链。先谢过了！