最近在搞一个本地知识库问答，用的ChatGLM3-6B，显卡是4060Ti 16G。一开始直接FP16加载，跑起来就OOM，连对话都开不了。后来试了4bit量化，显存倒是够了（大概8-9G），但回答质量明显下降，很多简单推理都开始胡说八道。