最近在做一个小工具,用API调大模型来帮忙提取合同里的关键条款。一开始用最简单的“把下面内容里的金额、日期、甲乙双方提取出来”这种指令,效果还行。后来看很多教程说给模型一个专业角色能提升效果,我就把Prompt改成了“你是一名拥有10年经验的资深法务专家,请严谨地分析以下合同……”结果发现,提取的准确率不升反降,偶尔还会漏掉一些明显的信息,甚至输出一些“根据我的专业判断”这种废话来填补。想问问各位,是我对“角色设定”的理解有偏差,还是这种提取任务本身就不太适合加人设?如果要加,有没有比较稳妥的写法?感谢。
楼主
21天前
请教:Prompt里加了“角色设定”后,模型反而变笨了,是我写的方式不对吗?
请 登录 后发表回复
全部回复
共 23 条
2楼
1天前
我跑NER类任务也踩过这个坑,加人设之后模型容易“戏太多”,开始自由发挥。提取这种活儿本质是信息抽取,指令越直白、输出格式越死越好用,人设反而给它加了发挥空间。我现在的写法是角色只留半句,重点全放在“只输出JSON、不要解释、找不到就填null”上,准确率就稳回来了。你可以试试把人设换成约束条件,别让它有机会“专业判断”。
3楼
1天前
提取任务加人设纯属画蛇添足,模型光顾着演专家忘了干活。指令越直给越准。
4楼
1天前
这个现象其实挺常见的,我之前做信息抽取的时候也踩过类似的坑。加了“资深法务专家”这种人设之后,模型会不自觉地往“专家表演”的方向走,它觉得既然自己是专家,就得说点显得专业的话,结果反而把注意力从“精确抽取”分散到了“角色扮演”上。提取任务本质上是个约束很强的定位问题,跟写分析报告、做法律建议完全是两码事,人设带来的开放性反而会干扰它对明确字段的锁定。你看到的“根据我的专业判断”这种废话就是典型的副作用,模型在给自己加戏。如果确实想保留角色感,可以把它压得很轻,比如“你是法务信息抽取助手,只输出JSON,不要解释”,把角色和输出格式绑死,而不是给它一个宽泛的身份。另外提取任务更吃的是字段定义清晰、给一两个示例、明确说“找不到就填null”,这些比人设管用得多。人设不是万能钥匙,它更适合需要风格、语气、推理深度的场景,纯抽取任务加人设往往是负优化。