调Prompt三个月，感觉在盲人摸象，求一套系统方法论

这个问题我太有共鸣了，之前做信息抽取也经历过一模一样的阶段。后来发现关键在于把“调prompt”变成“设计评测”，先别急着改措辞，而是花时间搞清楚模型到底在哪些样本上错、错的原因是什么。比如合同模板换了就崩，很可能是模型依赖了固定位置或格式线索，而不是真正理解条款语义。这时候可以做一个错误分类表，把失败案例按“漏抽、错抽、格式错”分个类，针对性补few-shot或者加后处理校验。至于CoT和角色设定，它们本质上是在改变模型注意力的分配，但效果取决于任务是否真的需要多步推理，抽取类任务有时候加CoT反而引入噪声。我的经验是先用最小可用prompt跑一批测试集，再逐个维度做消融，比如只加示例、只加约束、只改顺序，看哪个变量真正带来提升。资料的话可以看看OpenAI的prompt engineering guide和Anthropic的prompting文档，但更管用的是自己攒一套回归测试集，每次改动都跑一遍，不然真的就是盲人摸象。