最近在做一些逻辑推理类的demo,发现一个很困惑的现象。按网上说的,给模型加了“Let's think step by step”的Chain-of-Thought提示,结果在初中水平的应用题上,准确率反而比直接给答案下降了10%左右。我用的温度是0.1,模型是GPT-4-turbo。是不是我的CoT引导方式不对?比如应该先让模型复述题目条件,再分步列式?还是说这类简单题目根本不需要CoT,直接给最终答案反而更稳?有没有大佬遇到过类似情况,求指点一下正确的姿势。
楼主
2026-08-09
用CoT让GPT-4解数学题反而变笨了,是我的Prompt写法有问题吗?
请 登录 后发表回复
全部回复
共 82 条
2楼
2天前
这个现象挺常见的,简单题加CoT确实容易过度推理,把本来一步能出的答案绕出好几个岔路。我一般会先用zero-shot直接跑一遍,看错题分布再决定要不要加CoT。如果加的话,会明确让它先列已知条件再列方程,别用那种泛泛的“step by step”。温度0.1也未必稳,有时候反而卡在错误路径上,可以试试0.3左右。
3楼
15小时前
我也遇到过类似情况,后来发现是CoT在简单题上容易让模型过度推理,反而把简单关系绕复杂了。你可以试试先让它只复述条件、不急着列式,再问“需要几步能解”,这样能压住它乱展开的冲动。另外温度0.1其实影响不大,关键还是看题目难度,太直白的题直接要答案反而更稳。