用Prompt调优GPT-4做代码审查，效果时好时坏，求大佬指点

这个问题我也踩过坑，其实核心不是Prompt模板本身，而是GPT-4对“代码审查”这个任务的理解维度太宽了。你加“逐行分析”反而会让它陷入局部细节，忽略了整体逻辑。我的做法是拆成两轮：第一轮只让它标记疑似有问题的行号，不解释原因，相当于快速扫描；第二轮再针对这些行号做深度分析，这样能减少过度解读。另外，加正反例子很有必要，比如给它一段明显有bug的代码和一段干净代码的对比，告诉它“只报告第一段那种问题”，它能更快收敛到你的标准。你提到的“系统1+系统2”其实就是这个思路，但要注意第二轮Prompt里得明确禁止它重新扫描未标记的行，不然它会自己加戏。还有就是输出格式要固定，比如要求它按“问题行号:问题类型:建议修复”的JSON格式返回，这样后续你还能用脚本做结果聚合，稳定性和可维护性都会好很多。

先快速扫一遍再深度审这个思路不错，可以试试把prompt拆成两个阶段执行。

试过拆成两步走，先让GPT-4快速扫一眼结构，再逐行细查，效果比单次提示稳定很多。

你这个情况我特别懂，我也是试了好久才发现GPT-4对“逐行分析”这种指令容易走极端，要么漏掉要么过度。我现在的做法是分两步走，第一步先让它概括性指出可疑区域，第二步再针对具体片段深入查，确实比一次性要求“逐行”稳定不少。另外我试过在prompt里加一两个正反面例子，效果有提升，但例子不能太具体，否则模型会死板照着例子找问题。

我也遇到过同样的问题，感觉Prompt写太细反而容易让模型“用力过猛”。试试把“逐行分析”改成“重点检查逻辑错误和命名习惯”，然后给一个坏例子和一个好例子作为参考，效果会稳很多。至于系统1+系统2的思路，可以分两步：第一轮让GPT-4标出可疑行，第二轮再针对这些行深挖，我试过这样确实能减少误报。

我试过类似的方法，确实不稳定，感觉GPT-4对“资深开发者”这种角色扮演有时候会理解成“挑刺模式”，反而容易忽略基础问题。建议你试试分两步走：第一轮只给“检查拼写和变量命名规范”这种简单指令，第二轮再开启深度审查，这样输出会稳很多。另外在Prompt里塞一两个正反例确实管用，比如直接告诉它“以下代码中，哪行命名不符合PEP8”，比泛泛要求“逐行分析”要精准。

同感，我也试过类似模板，GPT-4在代码审查上确实忽好忽坏。我个人经验是你得把“逐行分析”拆成两步：先给个宽松指令让它抓明显错误，再针对可疑部分要求深度解释，这样能减少过度解读。另外给一两个正反例子挺管用的，比如贴段有命名问题的代码让它参考，效果比纯指令稳定不少。你试试在Prompt里加个“如果遇到不确定的，先标记再分析”的兜底逻辑，能平衡准确率和漏查率。

你提到的“系统1+系统2”思路其实挺对的，我自己试下来觉得GPT-4对代码的理解深度跟上下文长度和任务拆分方式关系很大。如果一次性让它做“全面审查”，它容易在局部细节和全局逻辑之间摇摆，导致要么漏检要么过度解读。我最近的做法是把审查拆成两轮：第一轮用比较宽松的指令让它先扫语法错误和明显的命名问题，第二轮再专门针对函数复杂度和潜在bug，而且每一轮我都会在prompt里加一个具体的“错误案例”作为反面教材，比如“如果变量名像a,b这种就标记”，这样比单纯说“请严格检查”稳定很多。另外你那个“逐行分析”可能反而会分散注意力，它容易陷入每一行的局部优化，忽略了代码的整体可读性。可以试试把“逐行”改成“按函数块分析”，同时限定输出格式比如“问题行号+建议+置信度”，这样它能聚焦。你目前给的角色设定和例子数量其实够了，关键是别让prompt太冗长，核心指令越短越不容易跑偏。

我最近也在折腾这个，感觉单靠角色扮演和逐行分析确实容易翻车。后来试了下给Prompt里塞一个“先标注怀疑区域，再逐段解释原因”的两步指令，稳定性好了不少。另外强烈建议加几个正反例子，比如给它看一段有明显坏味道的代码和它的正确输出，再给一段边界情况让它对比，这样GPT-4更容易踩准节奏。你提到的“系统1+系统2”思路我在GitHub上见过有人用，就是第一轮让它快速标记可疑点，第二轮再针对标记点深度分析，你可以试试把这两个步骤拆成两次调用，中间加个格式化的中间输出。

可以试试分两步走，先让模型找明显问题，再单独跑一轮深度分析，效果会稳很多。

我试过类似的方案，确实不稳定。问题可能出在“逐行分析”这个指令上，它会让模型陷入局部细节，反而丢失全局上下文，比如变量命名的一致性或者函数间耦合这种更宏观的问题。我觉得你提到的“系统1+系统2”思路挺靠谱，可以拆成两个阶段：第一轮让模型只做快速扫描，输出可疑点清单，第二轮再针对可疑点做深度审查，这样模型不会一开始就过度发散。另外，给正反例子确实有帮助，但别给太多，我试过塞了5个例子后，模型反而开始死板套用模式，反而漏掉真实问题。还有个小技巧，可以在Prompt里加入类似“如果代码质量合格，只需用一行说明‘无重大缺陷’”这样的兜底指令，能减少过度解读。你试过给模型限定输出格式吗？比如要求用表格列出缺陷等级，效果会比自由文本稳定。

试试在prompt里加个“只报告确定的问题，不确定的别写”，能少很多误报。

我也遇到过类似的问题，感觉GPT-4对“资深开发者”这种角色扮演的理解有点玄学，有时候反而会过度脑补。不如试试拆成两轮对话：第一轮只让它标出变量命名和拼写错误，第二轮再专门分析逻辑和性能，指令越具体越窄效果越稳。另外给一两个正反例子确实有用，但别太多，否则它容易照着例子硬套，反而忽略其他问题。

这个问题我深有体会，其实你的直觉是对的——约束太多反而会让模型“反应过激”或者“摆烂”。我试过类似的prompt，发现“逐行分析”这种指令容易让GPT-4陷入局部细节，漏掉整体逻辑上的bug，尤其是变量命名一致性这类需要全局视角的问题。建议你试试把审查拆成两个阶段：第一阶段用一句话让它快速标注“可疑点”，第二阶段再对标注的行进行深度审查，这样有点像你说的“系统1+系统2”的思路。另外，给正反例子确实有效，但不要给太多，我一般每个类型只给一个对比例子，比如“这是命名糟糕的代码，这是改进后的版本”，然后让它总结规则。还有就是温度调低到0.2左右，能减少随机性。你那个“扮演资深开发者”其实可以改成“你是一个有10年经验的Python代码审查专家，专注于发现逻辑错误和可读性问题”，这样角色定义更具体反而稳定。对了，你试过在prompt里明确要求它“先列出所有可能的bug类别，再逐项检查”吗？这个结构对减少漏检挺有用的。

我也遇到过类似问题，后来发现分批拆任务效果更稳：先让它只扫拼写和命名规范，再换一轮专门看逻辑和性能。你那个“系统1+系统2”的思路其实挺对，但别放同一个Prompt里，GPT容易混。另外加一两个坏例子比单纯写指令管用，比如故意贴段有拼写错误的代码告诉它“这种要抓出来”。

我跟你遇到过一模一样的问题，后来发现问题的关键不是Prompt本身写得不够细，而是GPT-4在“角色扮演”模式下很容易走极端——你让它当资深开发者，它就拼命找茬，你让它逐行分析，它就忽略全局逻辑。我试过把“逐行分析”改成“先整体评估再聚焦细节”，效果稳定了不少。至于你说的系统1+系统2思路，我实践下来比较有效的做法是分两步走：第一个Prompt只要求它快速标记可疑行并给出置信度，第二个Prompt再针对标记的行做深度分析，这样能避免它过早陷入细节。另外正反例子确实管用，我一般在Prompt末尾加一句“如果代码简洁且无bug，请明确说‘未发现问题’，不要硬找茬”，这能抑制它的过度解读倾向。你那个模板可能确实约束太多了，试试拆成两个子任务，让每个子任务的指令更纯粹。

我试过类似的方案，确实容易翻车。感觉“逐行分析”这种指令太宽泛，模型容易跑偏，不如拆成两步：第一步只找明显错误，第二步再让模型聚焦性能或结构问题。另外给一两个正反例子确实管用，比如贴一段有拼写错误的代码和一段有性能隐患的代码，模型输出会稳很多。

同感，GPT-4在代码审查上确实容易抽风，我试过把“逐行分析”改成“优先关注变量命名和潜在逻辑错误”后反而稳定了点。感觉你约束太多反而让它更纠结，不如拆成两轮：第一轮只让找明显的bug和拼写问题，第二轮再让做深度审查并给出理由。另外加几个错误例子确实管用，我放了个“变量名过长导致可读性差”的案例后，漏检少了很多。

加个两阶段prompt试试，先让它快速扫一眼，再针对可疑点深入分析。

确实，我也遇到过这种抽风问题，感觉GPT-4对“资深开发者”这种角色扮演容易跑偏，过度拟合到“找茬”模式。我试过把任务拆成两轮：第一轮只让标出明显错误和命名问题，第二轮再分析复杂逻辑和性能，效果稳了不少。模板里加几个你手头的真实正反案例当few-shot，比光写指令管用得多，你可以试试。