用Prompt调大模型回答质量，感觉完全靠玄学，怎么系统化？

写得挺好，建议补充一些性能数据。

同感，我刚开始也这么觉得，试来试去像买彩票。后来慢慢发现，prompt工程确实有一些可复用的东西，但前提是你得先控制变量——比如固定模型版本、固定temperature，每次只改一个地方，否则你根本不知道是哪个改动起了作用。我现在会先用一个小的测试集（十几条就够）批量跑，把输出存下来对比，这样比凭感觉判断靠谱很多。另外，模型之间的差异其实挺大的，GPT-4o对格式指令比较敏感，Claude有时候对角色设定更吃，同一套prompt直接搬过去效果会差不少，所以肯定要针对模型调。任务类型也很关键，抽取类和生成类的prompt结构完全不一样，前者更依赖schema和约束，后者更依赖示例。思维链也不是万能的，简单任务加了反而容易让模型绕远路。至于“简洁”那种模糊指令，我现在基本不用了，改成具体约束，比如“控制在三句话以内”或者给个反例，效果稳定很多。还有一个我觉得挺有用的，就是把prompt写成结构化的模块，角色、上下文、任务、输出格式分开写，改的时候心里有数。

我之前也踩过这个坑，后来发现关键是别把prompt当咒语念，得当成给新同事写brief——说清楚背景、目标和边界。格式要求最好用模板+示例固定下来，比“请简洁”这种模糊指令管用得多。另外不同模型确实脾气不一样，Claude对长上下文更稳，GPT-4o对结构化输出更听话，建议先拿小批量case做个对比表再定方案。思维链不是万能的，简单任务加了反而绕，可以先判断任务复杂度再决定用不用。