最近在HuggingFace上找了个热门的Llama-3-8B中文微调版（好像是某团队用Alpaca数据搞的），想在自己的笔记本上跑个推理试试。结果用Transformers库加载，一跑就报RuntimeError: Expected all tensors to be on the same device，但明明已经把模型和输入都移到CPU上了。我怀疑是不是加载时候的参数设置有问题？比如device_map="auto"还是得手动指定？或者那个微调版本本身需要特定的tokenizer配置？
顺便问下，有没有老哥踩过类似的坑？我只有16G内存+无独显，是不是本地根本跑不动8B模型？或者说有什么轻量化的替代方案（比如4bit量化）推荐？求指点，谢谢！