最近在做一个客服工单自动分类的小项目,用GPT-3.5做few-shot分类,大概20个类别。问题是每次改一点prompt,某些类别的准确率就上去了,另外几个又掉下来,来回横跳。试过加示例、加约束、调temperature,但总感觉在碰运气,没有一个可复现的调优流程。想问问大家在实际项目里prompt是怎么版本管理和迭代的?有没有什么踩坑经验或者工具推荐?现在每次上线前都很慌,不知道哪天就崩了。
最近在做一个客服工单自动分类的小项目,用GPT-3.5做few-shot分类,大概20个类别。问题是每次改一点prompt,某些类别的准确率就上去了,另外几个又掉下来,来回横跳。试过加示例、加约束、调temperature,但总感觉在碰运气,没有一个可复现的调优流程。想问问大家在实际项目里prompt是怎么版本管理和迭代的?有没有什么踩坑经验或者工具推荐?现在每次上线前都很慌,不知道哪天就崩了。
暂无回复,快来抢沙发吧