最近在折腾把Llama 3.1 8B量化到4bit，想在自己笔记本上跑个API服务。用的ollama部署，结果模型加载到一半就报CUDA out of memory，8G显存直接爆了。试了用llama.cpp的Q4_K_M量化版，加载倒是能成功，但推理速度慢得离谱，一句话要等十几秒。想问下各位大佬，是不是我的量化参数选得不对？或者有没有什么模型分片、offload到CPU的配置技巧？另外看到网上说可以加swap，但感觉延迟会更高。主要场景是自己做点RAG实验，不想每次都调云API，求指点！
楼主
2026-07-18
部署Llama 3.1本地服务时OOM怎么破？8G显存还有救吗？
请 登录 后发表回复
全部回复
共 205 条
2楼
2026-09-20
8G显存跑8B的Q4确实挺紧张的，ollama默认可能没完全offload到CPU，你可以试试在Modelfile里调num_gpu层数，留一两层给显卡就行，剩下的扔CPU跑。llama.cpp那边用-ngl参数控制，别全塞显存里，速度慢可能就是因为爆了之后偷偷走CPU了。RAG实验的话其实7B的Q4_K_M更划算，或者试试Q3_K_S，显存压力小很多，精度掉得也不算太狠。swap就别折腾了，那玩意儿一用延迟直接起飞，不如直接换小模型。
3楼
2026-09-20
8G显存跑8B的Q4确实挺紧的，ollama默认会吃不少显存做上下文缓存。可以试试调小num_ctx到2048，再把num_gpu设成20层左右，剩下的offload到CPU，速度会比纯CPU快不少。llama.cpp那边用Q4_K_M没问题，但记得加-t参数把线程数拉满，再开flash attention，能快一截。RAG实验的话其实可以换更小的模型，比如Qwen2.5 3B或者Llama 3.2 3B，8G显存跑起来舒服多了。
4楼
11天前
有没有更详细的教程推荐？
5楼
5天前
有没有更详细的教程推荐？
6楼
3天前
试试把n_gpu_layers调低点，留几层给CPU跑，速度反而比全offload稳。