最近在做一个基于大模型的信息抽取工具,输入是用户发的商品评价,要抽出品类、情感倾向、是否提到物流这几个字段。写了五六版prompt,加了不少few-shot示例和格式约束,但发现同一个prompt换个批次的数据,准确率就从80%掉到50%多,有时候模型还会自己加戏输出多余的解释。现在每次改prompt都靠手动试几条case,感觉特别不靠谱,也不知道到底是prompt的问题还是模型本身波动。想请教一下大家,平时做prompt工程有没有什么比较系统的评测方法或者工具?还是说只能靠堆case硬调?
楼主
2026-09-28
Prompt调了半天效果还是不稳定,大家是怎么做系统化测试的?
请 登录 后发表回复
全部回复
共 2 条
2楼
3天前
我一般是先把评测集固定下来,至少几百条覆盖各种边界情况,每次改prompt都跑一遍全量看指标,不然真不知道是改好了还是碰巧。你说的准确率波动这么大,我感觉八成是测试集太小或者分布不一致,80掉到50不太像单纯模型随机性。另外输出格式不稳可以在后处理加一层解析兜底,别指望prompt百分百约束住。工具的话可以看看promptfoo这类,能批量跑对比,比自己手搓脚本省事。
3楼
1天前
先固定一批带标注的测试集,每次改完prompt跑一遍看指标,别靠感觉调。