用Prompt调优GPT-4做代码审查，效果时好时坏，求大佬指点

同感，GPT-4在代码审查上的稳定性确实是个难题。我觉得问题可能不在“约束太多”，而是指令粒度没对齐——比如“逐行分析”容易让它陷入局部细节，反而漏了整体逻辑的拼写错误。我试过把Prompt拆成两段：第一段只让找明显错误（比如拼写、未定义变量），第二段再要求“从资深架构师角度”检查结构和性能，效果比硬塞一个模板好不少。另外给一两个正反例子确实管用，特别是我会加一句“如果发现误判，请说明理由”，能减少过度解读。

试过你的方法，确实不稳定。我觉得关键不是加不加“逐行分析”，而是得把审查目标拆细——比如单独查命名一个Prompt、查逻辑一个Prompt，混在一起GPT容易顾此失彼。另外“先扫再深”的思路可行，我试过分两步走：第一步让GPT只标出可疑行，第二步对标记结果做深度分析，效果好不少。你可以试试给个坏例子当反面引导，比单纯说“请仔细”管用。

我自己也在折腾这个，确实不稳定得让人头疼。你说的“系统1+系统2”思路我试过，效果比单一大Prompt好不少——我会在第一轮用极简指令让GPT-4先标出明显问题（比如拼写、未使用变量），第二轮再扔回去让它“以代码评审专家身份检查逻辑和性能”，这样两次输出能互补，漏检率低一些。不过有个坑：第二轮如果指令太抽象，它还是会跑偏，所以我加了个“只列出你认为有真实风险的条目，并给出1分到5分的严重性评级”，结果输出稳定多了。另外，我发现给正反例子确实管用，但别给太多，两三个典型就够了，否则它反而会模仿例子里的错误模式。你试试把“逐行分析”改成“仅当发现问题才输出具体行号”，不然它废话太多，反而掩盖了重点。

我也遇到过类似的问题，感觉“扮演资深开发者”这种角色设定容易让模型用力过猛。我后来试过把审查拆成两步：第一轮只让GPT-4标记“可疑行”并写明原因，第二轮再让它针对这些点出优化建议，稳定性好了不少。另外正反例子确实管用，我会在prompt里塞两个极简的代码片段，分别标“这是合格写法”和“这是踩坑写法”，它理解边界会清晰很多。

试试分成两步：先让它找明显错误，再给个深度审查的模板，分开调优效果会更稳。

试试把任务拆成多轮：先让它只找bug，再单独查风格，别指望一个prompt干全套。

给正反例子挺管用，我加了几个“漏报”案例后，稳定性明显上来了。

这问题我熟，试过类似的活儿。关键是你那“逐行分析”太贪心了，GPT-4一次处理太多指令反而会顾此失彼。我后来拆成两轮：第一轮只让它找明显bug和拼写错误，第二轮再给风格建议，效果稳很多。正反例子确实要给，但一个就够，太多反而会把它带偏。另外“系统1+系统2”的思路很对，不过实践中可以更简单点，比如先让模型输出“可疑点列表”，再挑几个重点让它详细解释，比让它一次性“深度审查”靠谱。

我觉得问题可能出在“逐行分析”这个指令上，GPT-4一旦进入逐行模式就容易陷入局部细节，反而丢了全局判断。你可以试试把审查拆成两轮，第一轮让它只列“可疑点”和“严重级别”，第二轮再针对这些点展开，别一上来就让它给建议。另外给一两个正反例子确实有用，但别太多，否则它会模仿例子里的错误模式。我自己用下来，加一句“忽略风格偏好，只关注逻辑和可维护性”能明显减少过度解读。

我之前也折腾过这个，后来发现“逐行分析”这种指令太宽泛了，GPT-4容易用力过猛或者偷懒。你可以试试把审查拆成两轮，第一轮限定只查特定类别（比如只报变量名和明显bug），第二轮再让它看逻辑和性能，这样输出会稳很多。

正反例子真的挺管用的，尤其是给一个“过度解读”的反例，告诉它哪些不算问题，比单纯说“别过度”有效得多。我自己是把常见的误报案例直接贴在prompt末尾，效果立竿见影。

系统1+系统2的思路我也试过，但感觉别指望一次对话里自动切换，不如手动跑两次，第二次带上第一次的结果让它聚焦。你现在这个不稳定，可能是任务定义太杂了，试试先砍掉一半要求，看看会不会更可控。

这问题我也踩过坑，单靠角色设定和“逐行分析”确实容易飘。建议把任务拆成两轮，第一轮只让它列“确定的错误”，第二轮再让它提“潜在风险”，否则它逻辑一打架就乱套。正反例子比加约束管用，尤其是你给它一个“太啰嗦”的坏样例，它反而能学会收敛。另外可以试试在Prompt里指定“只输出问题列表，不许解释”，输出稳定性会好很多。

建议分两步走：先让它只找bug，再单独查风格，混在一起它容易精神分裂。

试试给个坏例子+好例子对比，比单纯写规则管用，系统1+2那思路可行。

我之前也遇到过一模一样的问题，后来把“逐行分析”改成“先给出3个最可疑的问题点，再按严重程度排序”，稳定性一下就上来了。你那个“系统1+系统2”的想法挺对的，但实际操作可以拆成两个独立的Prompt调用，第一轮让它只找明显bug，第二轮再让它往深了查，别指望一个模板干完所有事。另外正反例子真有用，我塞了5个标注过的错误片段进去，漏检率降了不少，但别超过10个，不然它容易学歪。你试过给输出格式加上严格的JSON约束吗？我最近发现这个对减少过度解读特别有效。

试试拆成两轮：第一轮只查语法和命名，第二轮专门看逻辑和性能，比一个大Prompt稳很多。

我个人试下来，那种“扮演专家+逐行分析”的写法确实容易让模型进入过度发散状态，尤其代码一长，它反而抓不住重点。后来我把Prompt拆成两轮，第一轮只让它列“确定的bug和拼写错误”，第二轮再让它单独看性能和可读性，输出稳定多了。另外建议你别给正反例子，那会强化它的预判，不如直接贴一次你自己的审查结果让它模仿结构。你现在的模板里如果有很多“禁止”类的词，可能也会干扰它的判断，删掉试试。

我之前也是时好时坏，后来发现关键不是约束多少，而是让“快速扫描”和“深度分析”分开跑。比如先丢一句“只找会导致运行错误的明显问题”，拿到结果后再追加“现在从可维护性角度挑刺”，两步走效果比一个复杂模板强。正反例子我试过，但容易让它在例子里找规律，反而忽略你实际代码。你那个系统1+系统2的思路挺对，直接做成两个独立Prompt调用就行，别指望一次生成。代码审查这事，稳定性比“聪明”重要，宁可多跑一次也别让它自由发挥。

我遇到过类似问题，问题可能出在你让它“逐行分析”上，这个指令会让它把注意力平均分配，结果重点全丢了。可以试试让GPT-4先输出一个“疑似问题清单”带行号，然后

我之前也踩过这个坑，后来发现把“逐行分析”改成“按优先级分层输出”会稳很多，比如先列严重bug，再提风格问题，不然它容易全糊成一团。另外给正反例确实管用，我塞了两个你这种情况的对比case进去，准确率明显上来了。系统1+系统2的思路我觉得可行，但别指望一个prompt搞定，我目前是拆成两轮对话：第一轮让它快速扫，第二轮带上前一轮结果再深挖，效果比一次到位好不少。你的模板里如果角色扮演和任务指令混在一起，可能也会干扰输出，试试把“资深开发者”这种身份描述单独放最后。

我试过类似的，问题出在“逐行分析”这种指令上，GPT-4会为了满足你而强行输出，反而忽略整体逻辑。建议拆成两轮，第一轮只让它列可疑点，第二轮再针对这些点深入解释，效果会稳定很多。

另外正反例子确实有用，但别给太多，三五个就够，不然它会过度拟合你的示例风格。我自己的模板里会加一句“如果代码无明显问题，直接回复无异常”，能有效减少过度解读。

还有个偏方，把代码分段扔给它，每段控制在50行以内，比一次性全丢准得多。你试试看，尤其对漏查拼写错误这种问题，改善特别明显。

正反例子必须给，再让它先列问题清单再逐条查，能稳不少。

写得挺好，建议补充一些性能数据。

试过把“逐行分析”去掉，改成“只报确定性问题，附严重程度排序”，准确率会稳很多。模式上建议拆两轮：第一轮让它列可疑点清单，第二轮针对清单里的点给修改建议，别指望一次性输出。另外给一两个你手头最典型的坏例子当few-shot，比写一堆规则管用。变量命名这种风格问题其实不太适合让模型判，它标准太飘。

我之前也踩过这个坑，后来把“逐行分析”改成了“分两轮，第一轮只看明显错误，第二轮关注逻辑和设计”，效果稳了不少。你试试把约束拆成步骤，而不是一口气全塞进去，GPT-4对复杂指令的执行确实容易漂。至于正反例子，我觉得给一个“坏例子”比给三个“好例子”管用，能直接框住它的尺度。另外拼写错误这种其实不该靠prompt，先跑个lint再丢给它，省得浪费上下文。