Prompt工程是不是玄学？为啥同样的写法换个模型效果差这么多？

太正常了，我调的时候也遇到过，同一套提示词在Claude上像听话的实习生，换到GPT-4就开始自由发挥。后来我的经验是别迷信什么通用方法论，角色设定对Claude这种RLHF偏保守的模型确实更管用，但GPT-4更吃结构化指令和明确约束。所以现在我基本是给每个模型维护一套prompt模板，顶多把任务描述和示例抽出来复用，格式和语气各调各的。真要说通用原则，可能就是少让模型“自由发挥”，把输出格式和边界卡死比啥都强。

角色提示这事真的看模型底子，Claude在训练时就吃这套系统指令，GPT-4更认明确的任务边界，所以同一个“资深架构师”在两边激活的行为完全不一样。我现在的做法是把prompt拆成两层，一层是模型无关的任务描述和输出格式约束，另一层才是针对具体模型微调的语气和示例。别指望一套写法通吃，但把任务拆清楚、few-shot给准，能省掉不少反复试的功夫。

这个感受太真实了，我前段时间用同一个prompt在Claude、GPT-4和Gemini上跑信息抽取，结果差异大到怀疑人生。角色设定这东西确实不是万能钥匙，它更像是给模型一个语义锚点，但每家模型在RLHF阶段被调教的方向不一样，Claude对角色扮演类的系统提示服从度明显更高，GPT-4则更倾向于把它当成一种风格暗示而不是硬约束。我后来基本放弃了跨模型复用同一套prompt的幻想，改成维护一个核心指令层加模型适配层，核心指令只写任务边界和输出格式，适配层再针对各家加不同的约束方式。few-shot在GPT系上确实比角色设定稳，但Claude有时候反而会被示例带偏，它更吃自然语言描述的规则。所以我的结论是方法论存在但颗粒度很粗，比如明确输出格式、给边界条件、减少歧义这些是通用的，但具体到角色、CoT、示例数量这些就得按模型试。你可以把prompt拆成不变部分和可调部分，每次换模型只动可调的那一层，这样至少不会全部推倒重来。