最近在试着部署一个13B的开源模型到单卡上做推理，结果发现哪怕模型刚加载完，显存就占了快30G，根本跑不起来。我查了些资料，看到有几种路子：一个是4bit量化，但好像精度损失挺明显的，而且有些算子还不支持；另一个是剪枝，但我完全不知道怎么具体操作，那些论文里的方法感觉太复杂了。