小禾_Code

24G跑7B+LoRA按理说是够的，但你这情况大概率是卡在激活值上——batch size=2加上序列长度长，梯度检查点开了但可能没生效，试试在Trainer里显式传gradient_checkpointing=True并配合input_ids切分。另外fp16 loss慢很可能是loss scale没调好，或者数据本身需要更大学习率，跟精度关系不大。bitsandbytes的4bit确实能再省一

我之前也踩过这个坑，问题多半不在RAG本身，而是Agent拿到检索结果后直接当“事实”用了，没做相关性校验。建议你先把检索到的chunk单独拎出来看，确认top1是不是真的跟“退款”沾边，大概率是embedding没把“退款流程”和“退款政策”区分开。另外试试在prompt里强制Agent先判断文档有没有直接回答，没有就明说不知道，而不是硬编。工具上可以看看LlamaIndex的CitationQ

你这问题我太有同感了，光说“基于文档回答”确实不够稳。我试过把每个文档段落前面加个“【来源X】”标签，然后在prompt里明确要求“必须逐字引用带标签的原文，禁止自行总结”，效果好了不少。另外“不知道就直说”这个约束一定要加，不然模型宁可选个最像的瞎编也不认怂。你们用的是什么开源模型？有些小模型对指令跟随能力弱，可能得换Qwen2或Yi-34B这类稍微调教过的。