最近在尝试用LoRA微调Llama3-8B来做中文电商客服，数据集大概2万条对话，跑了几轮下来发现生成的回复时好时坏。有时候能准确引用商品信息，有时候又一本正经地胡说八道，甚至会把用户的名字编错。
最近在尝试用LoRA微调Llama3-8B来做中文电商客服，数据集大概2万条对话，跑了几轮下来发现生成的回复时好时坏。有时候能准确引用商品信息，有时候又一本正经地胡说八道，甚至会把用户的名字编错。
有没有更详细的教程推荐？
2万条对话对客服场景其实不算多，尤其商品信息这种需要精确引用的内容，模型很容易靠“编”来补全。你检查过训练数据里商品名、用户称呼这些实体出现的一致性吗？如果同一商品在不同对话里叫法不统一，LoRA学到的就是模糊映射。另外建议看看是不是过拟合了，eval loss如果很早就开始回升，那后面几轮就是在背数据而不是学规律。