用Prompt调优GPT-4做代码审查，效果时好时坏，求大佬指点

正反例子必须给，尤其要标注漏报和误报的案例，模型才能学会拿捏分寸。另外把系统1和系统2拆成两轮对话效果会稳很多。

可以试试把审查拆成两个独立pass，第一轮只让它找客观问题比如拼写和未定义变量，第二轮再给角色设定去聊架构和性能。我之前这么搞完稳定性明显好了，比一个prompt想全流程靠谱。另外别加“逐行分析”这种指令，GPT-4会为了满足你而强行输出，反而质量下降。给正反例子确实有效，但别超过三组，不然它容易模仿过度。

我之前也踩过这个坑，后来发现别让模型“逐行分析”，改成让它“先列可疑点，再给理由”会稳很多。正反例子其实比角色扮演管用，丢两个典型坏代码和好代码进去，它输出立刻收敛。你说的系统1+系统2思路可行，我现在就是拆成两个Prompt，第一轮只查明显错误，第二轮才看逻辑和性能，分开跑效果比一锅炖强。不过变量命名这种主观项，GPT-4本身就不稳定，建议你直接上lint工具兜底，Prompt只盯逻辑bug。

试过把“逐行分析”改成“先找3个最可疑的问题，再挑1个最值得改的”，稳定性会好很多，因为模型在有限目标下更容易聚焦。正反例子确实有用，但别给太多，我一般是塞一个坏代码和一个好代码的对比，让它学你的“口味”而不是泛泛的规则。系统1+系统2的思路可以落地成两个独立Prompt，第一轮让它标出可疑行，第二轮带着这些行去追问，比一个Prompt里硬塞两步要可控。

你这情况我太懂了，GPT-4在代码审查上就是薛定谔的认真。我觉得问题不在约束多少，而是“逐行分析”这种指令容易让它陷入局部细节，反而丢了整体逻辑。可以试试把任务拆成两轮，第一轮只让它列“可疑点”清单，第二轮再针对清单逐条深挖，这样比一次性要求全面检查稳得多。另外正反例子真的有用，我习惯在Prompt里附一段故意埋了bug的短代码当参照，它输出格式会规矩很多。

这问题我太有同感了，GPT-4在代码审查上确实跟抽风似的。我觉得你模板里“逐行分析”这个指令可能是罪魁祸首，它逼着模型去“找茬”，反而容易在无关紧要的地方用力过猛。我试过把任务拆成两个独立Prompt，第一个只让它快速扫语法错误和拼写问题，第二个再让它看逻辑和设计，效果稳定很多，但就是得多调一次API。另外，给几个正反例子确实有用，但别给太多，两三个就够，重点是让它明白“哪些算问题，哪些不算”。至于“系统1+系统2”的写法，我试过在一个Prompt里用“先跑一遍静态检查，再做深度分析”这种话术，但感觉它还是会把两件事混在一起，不如直接拆开。还有个歪招，你可以在Prompt里加一句“如果没有发现实际问题，请直接说代码没问题”，能明显减少过度解读。你现在的Prompt大概有多少行？有时候约束太多反而会干扰它对代码本身的理解。

试试分两轮跑，第一轮只查语法和命名，第二轮专盯逻辑和性能，别让模型一口吃成胖子。

给两个正反例放prompt里确实管用，我加了之后稳定性明显好了，你可以先拿真实bug喂几轮。

这问题我太有同感了，试过“资深开发者”加“逐行”那套，结果它给我把列表推导式硬说成内存泄漏。后来发现关键是别让它一次干完，我分两轮：第一轮只让找bug和明显错误，第二轮再让它说风格和性能，而且每个问题必须给行号和置信度，否则容易瞎猜。

系统1+系统2的思路对，但得明确告诉它“先快速扫描，只标出有把握的问题，再针对这些点深挖”。正反例子我觉得加一个就够了，比如给段明显有坏味道的代码和一段干净的，让它对比着判断，比纯描述“边界情况”管用得多。

这问题我太有同感了，GPT-4在代码审查上确实飘忽不定。我个人试下来，别用“逐行分析”这种太宽泛的词，改成“先找出3个最可能引发运行时错误的点”会稳很多。正反例子我觉得挺管用的，尤其是给它一个故意埋了bug的坏样本，它反而能学得更准。至于系统1+系统2，我试过把两步拆成两个独立对话，先让它快速列问题清单，再挑重点深入问，比一个prompt里硬塞两阶段指令效果要好，但确实费token。

我自己也折腾过一阵，感觉“扮演资深开发者”这种指令对GPT-4来说太虚了，它反而容易放飞自我。不如直接拆成两个独立的Prompt：第一轮只查语法和拼写，第二轮专门盯着逻辑和性能，这样比“系统1+系统2”写在一起稳定得多。

另外你可能得给它喂几个反面例子，比如故意写个有严重bug的短函数，让它指出问题。我试过加完例子后，漏检率明显降下来了。

不过说实话，代码审查这活儿它上限不高，你要真想稳定，不如把函数长度和命名规则写成明确的检查清单，让它逐条勾选，比自由发挥靠谱。

试过把“逐行分析”改成“先列关键问题，再给优化建议”之后，稳定性确实好一些，但别指望它真能像人一样分层思考。我觉得你问题可能出在没限定“只查这三类”，它一自由发挥就容易跑偏。另外拼写错误这种活真不适合交给GPT-4，我都是让pylint先扫一遍，再拿它看逻辑，效果比单靠prompt强多了。

说实话你这问题我太有同感了，我拿GPT-4跑代码审查也遇到过一模一样的抽风时刻。我觉得问题不一定出在约束太多，而是你让它“逐行分析”这个指令本身就会触发它的过度补偿机制，它为了显得认真就会硬找茬。你可以试试把任务拆成两段独立的对话，第一段只让它列客观事实，比如“有没有未定义的变量、语法错误”，第二段再让它做主观判断，像命名合理性或者潜在性能风险，这样能明显减少那种“又瞎又敏感”的状态。另外正反例子确实有用，但不用给太多，给它两个极端案例，一个烂代码一个标准代码，它就能自己校准那个度。还有个土办法，你在Prompt里加一句“如果某行没有明显问题，请直接说‘无异常’”，这个约束能逼它跳过那些本来要硬凑的点。最后提醒下，它其实更适合做“第二双眼睛”而不是“唯一审查官”，你保留最终判断权，别被它带节奏。

正反例子必须给，尤其把“过度解读”的坏案例塞进去，比单写指令管用。

试试分两轮，第一轮只列疑似问题，第二轮让它挑真正该改的，稳定很多。

我之前也踩过这个坑，后来把“逐行分析”改成“先列出可疑点，再按严重程度排序”，效果稳多了。你试试把角色设定砍掉，直接给两三个真实的正反例，比什么“资深开发者”管用。至于系统1+系统2，我实测分开两次调用比塞在一个prompt里强，第一次只找明显问题，第二次专门钻逻辑漏洞，就是费点token。另外你可以加个“拿不准的标注不确定”的指令，能少很多幻觉。

这问题我太有同感了，GPT-4在代码审查上确实跟抽卡一样。我感觉你模板里“逐行分析”这种指令反而容易让它进入“表演模式”，为了显得专业就硬找茬。不如试试把任务拆成两步，第一轮只让它列可疑点，第二轮再针对这些点给具体建议，顺便加一个“没有发现就说没有”的兜底规则，能明显减少幻觉。

正反例子我也加过，但感觉关键不是给多少，而是让它先输出判断标准再动手。比如让它先声明“我认为这个函数超过30行才算问题”，然后再去查，这样至少结果可预期一些。另外你提到的“系统1+系统2”思路，我实践下来不如直接限定每轮检查的维度，比如这轮只看变量命名，下轮只看逻辑分支，反而更稳定。

还有个偏方，就是故意在代码里埋一个简单错误，然后看它能不能抓出来，用这个当校准信号。要是它连这个都漏，那基本就是提示词太杂导致注意力分散了，这时候简化比加约束管用。你可以试试把角色设定去掉，只保留“检查这三类问题”这种冷冰冰的指令，有时候效果反而更稳。

我试过类似场景，后来发现把“逐行分析”去掉，改成让模型先给整体结论再列具体问题，稳定性反而高很多。你提到的系统1+系统2思路其实可以落地，就是拆成两轮Prompt，第一轮让它只标可疑点，第二轮再针对可疑点深挖，但别指望一次搞定。另外给正反例子确实有用，尤其是你希望它别漏掉拼写错误时，直接塞一条错误案例进去，效果立竿见影。我现在更习惯固定输出格式，比如“问题-行号-严重度-理由”，这样就算它偶尔犯傻，我也能快速筛掉废话。

这问题我也踩过坑，后来发现把“逐行分析”去掉，改成让它先给总体结论、再列具体问题清单，稳定性高不少。正反例子真的有用，我塞了三条“漏报”和两条“误报”的样本进去，输出明显收敛了。系统1+系统2的思路可行，但别写在一个prompt里，拆成两轮对话效果更好，第一轮让它快速找“可疑点”，第二轮针对这些点深入查。你试试看，变量命名这种琐碎检查其实单独跑一轮更靠谱，混在一起它反而容易抓瞎。

我试过类似的做法，后来发现“扮演资深开发者”这种角色设定其实对代码审查帮助不大，反而容易让模型往“资深”的方向过度发挥，比如强行找茬。你提到给正反例子，这个方向是对的，但关键是要把例子嵌在Prompt里，让模型先“看过”再输出，而不是光靠口头约束。关于系统1+系统2，我在实践中感觉GPT-4很难自己主动切换，更靠谱的是拆成两步走，第一步只让它报明显的语法和拼写问题，第二步再让它专注逻辑和性能，两个Prompt分开调用，这样稳定性会高很多。另外我猜你模板里可能有类似“逐行分析”这种指令，这会让模型陷入机械式输出，反而忽略全局结构，建议改成“先列出你关注的检查点，再逐项对应”。还有个坑是代码长度，超过200行的函数建议拆成几段喂，否则模型注意力会漂移。最后想问你一个问题，你给模型看的代码是带完整上下文的，还是只贴了函数体？如果是后者，漏查拼写错误可能就是因为缺少缩进和上下文关联。

我试过类似的办法，后来发现核心问题不是prompt长短，是它没有“代码审查的上下文”。你给它一堆规则，它反而会过度拟合，建议把正反例子直接塞进去，比如给一段有明显bug的代码和一段正常代码，让它先判断再输出。关于系统1+系统2，我现在的做法是第一步让它只列问题清单，不解释，第二步再针对清单逐条给建议，输出稳定多了。另外变量命名这类静态检查，你不如先跑个linter，把结果喂给它，让它只专注逻辑问题，效果会好很多。

这个问题我试过很久，核心矛盾在于GPT-4的“审查粒度”跟你的指令颗粒度不匹配。你加“逐行分析”反而容易让它陷入局部，忽略整体逻辑，而且它对自己过度解读的自信程度远高于漏报。我现在的做法是拆成两轮，第一轮只给“只找明确bug和明显坏味道，不要提风格建议”这种强约束，第二轮再让它从架构角度提优化，两轮之间加一个“如果某行有疑问，标出来但不要展开”的中转指令。正反例子确实有用，但不用多，各一个就够，重点要让例子贴近你实际代码的复杂度，太简单的例子反而会让它更爱挑刺。另外你提到系统1+系统2，我觉得更实际的是控制温度，审查类任务我直接设0，偶尔用0.2，千万别默认值，否则随机性会让你怀疑人生。还有个小技巧，在Prompt末尾加一句“如果你认为没有明显问题，直接说‘无重大发现’”，能逼它收敛输出，减少那种为了显示自己认真而强凑的“性能建议”。