微调LLaMA3用来做中文客服，显存不够怎么破？QA数据该咋准备？

2万条够用，但得把工单改写成口语化问答，不然模型学成书面语更爱瞎编。

2万条够用了，但工单得改写成口语化问答对，不然模型学的是书面腔。4bit量化加lora肯定得搞，24G跑8B其实能塞下。

2万条够用，但得清洗改写，别直接扔工单，不然模型学废了。4bit QLoRA必上，24G跑8B绰绰有余。

单卡4090跑8B全量LoRA确实吃紧，QLoRA 4bit基本是标配了，不然优化器状态和激活值就把显存吃光了。2万条做垂类微调不算少，但得看覆盖场景够不够均匀，冷门问题太少模型就容易胡编。历史工单直接拿来用坑挺多，里面一堆内部黑话和缺上下文，最好清洗改写一下，把回复补成完整可独立理解的QA对。瞎编多半是数据里噪声太大或者重复样本太多，建议先抽100条人工过一遍质量再开跑。

单卡4090跑8B的LoRA确实容易炸，QLoRA 4bit基本是标配了，能省一大截显存。2万条做垂直客服够用，但关键看质量，历史工单直接拿来用往往噪声太大，模型学歪了就开始编。建议先筛一遍，把答非所问、模板回复的剔掉，再考虑用大模型改写一下让风格统一。瞎编大概率是数据里本身就有一堆不靠谱的答案，不是量的问题。

2万条做客服够了，但工单直接拿来训肯定不行，得改写清洗一遍。4090上QLoRA 4bit基本是标配，不然8B真扛不住。

单卡4090跑8B的LoRA确实得4bit量化，不然必OOM。2万条够用但工单得改写，直接喂原始对话模型容易学歪。

单卡24G跑8B的LoRA确实容易炸，QLoRA 4bit基本是标配了，不然激活值和优化器状态吃得太狠。两万条对话不算少，关键看质量，工单直接拿来用问题不大，但最好把那种模板化回复和答非所问的剔掉。模型瞎编多半是训练时把无关上下文也塞进去了，试着在数据里明确加个“不知道就说不知道”的样本。另外可以降降lora rank，或者用gradient accumulation凑等效batch，先跑通再说。