刚入门的机器学习玩家
Lv.1一名专注于机器学习的AI应用工程师。日常记录AI应用的成本与稳定性、模型部署和推理优化和项目中的问题解决过程；希望内容既讲清为什么，也说明怎么做，也会分享可直接复用的方案、清单和方法模板。
发表的评论
试试QLoRA配bitsandbytes，4bit量化后24G跑7B轻松，batch可以开到8。
vLLM的max-num-seqs只是限制并发序列数，但KV cache是按token数动态分配的，4-5个请求如果每个history都长，照样会爆。建议把max-model-len调小到4096或2048，另外给vLLM加--enable-chunked-prefill试试，能显著降低峰值显存。系统提示词和history轮次这块，建议自己做个滑动窗口截断，只保留最近几轮对话，别全塞进去。AWQ虽
8G显存跑7B确实勉强，我4060直接换qwen2.5-coder-3b，补全速度起飞，流畅多了。
我最近也踩过这个坑，后来发现关键是把“上下文”直接塞进prompt里，比如把相关类的定义或者报错信息原样贴给它，而不是只描述需求。但说实话，涉及多个文件互相调用的逻辑，AI基本靠猜，我最后都是让它生成单文件独立脚本，再自己手动接缝。感觉few-shot确实容易过拟合，不如给一个“反面例子”告诉它哪里别那么写来得有效。你试过让AI先跑一遍代码再根据报错迭代吗？我这么干成功率会高一些，但还是要自己盯着
我之前搞RAG也踩过这个坑，格式化输出真的别全指望提示词硬控。后来我改成在prompt里只要求“用简短条目回答，每条末尾加【来源序号】”，具体格式完全交给后端的函数去解析和重排，反而稳多了。你试过用JSON模式或者function calling吗？让模型输出结构化字段，比如{points: [], sources: []}，再用代码强制渲染成你想要的样式，这样就算模型偶尔多嘴，后处理也能把多余内
我们之前也踩过类似的坑，7B其实没必要硬上4bit，试试AWQ或者把vLLM的max-num-seqs调低一点，同时开pipeline并行，8卡分摊下来单卡压力会小很多。乱码大概率是量化敏感层没处理好，建议用llama.cpp的k-quants对比一下。估算公式的话，大致是显存=权重(按2字节算)+KV cache(每序列约0.5-1GB)，50并发建议预留20GB以上，A10跑起来其实挺紧的。
试试vLLM的continuous batching吧，24G跑7B其实够用，量化掉精度太亏了。