用Prompt让大模型输出结构化JSON，总是崩格式怎么办？

这个问题我太有共鸣了，之前做意图识别也踩过一模一样的坑。其实5%-10%的失败率在纯prompt方案里已经算不错了，想再往下压，我的经验是别指望模型百分百听话，得从“约束输入”和“兜底输出”两头一起下手。比如在prompt里别只说“输出JSON”，而是直接给一个空模板让它填空，连字段的引号和大小写都提前写好，这样它自由发挥的空间就小很多。另外markdown代码块那个问题，可以在system里明确说“禁止使用markdown，直接以左花括号开头”，同时把stop参数设成可能出现的```，有时候能拦住一部分。关于function calling不够灵活这点，我试过一种折中办法：schema里把params定义成自由对象，只约束顶层结构，内部字段让模型自己填，这样既保留了动态性又有格式保障。后处理肯定省不了，我一般会先strip掉代码块标记，再正则提取第一个完整的花括号块，最后用json.loads加try兜底，失败就重试一次并降低temperature。还有个邪门技巧是让模型输出前先“在心里检查一遍是否符合JSON规范”，虽然听着玄学，但实测对减少大小写错误有点用。说到底，追求程序级稳定的话，最后那1%还是得靠解析失败后的fallback逻辑，纯prompt只能无限逼近。

我也踩过这坑，后来直接在prompt里禁掉markdown，明确说“只输出裸JSON，不要任何代码块标记”，失败率降了不少。另外可以用json repair库兜底，先把```json剥掉再解析。还有个思路是让模型输出后自己校验一遍，发现格式不对就重试，成本不高但挺管用。

我一般会在prompt最后加一句“只返回JSON，不要任何解释和markdown标记”，然后解析前先做一层清洗，把json和都去掉再json.loads。但说实话5%的失败率想压到0基本不可能，我后来直接加了个重试机制，解析失败就带错误信息再问一次，基本两次内都能搞定。另外字段名大小写这种，可以在解析后用schema校验兜一层，不符合就重试或者走降级逻辑。

我最近也在搞类似的东西，后来发现光靠prompt确实很难压到零失败。我的做法是prompt里明确要求“只输出JSON，不要任何解释和代码块标记”，然后后处理用正则把json和都剥掉再解析。另外可以试试response_format参数指定json_object，GPT-4o原生支持的，比纯靠prompt稳不少，但前提是prompt里得出现json这个词。动态字段的话，可以考虑先让模型输出字段定义再二次调用，虽然多一步但格式基本不会崩。

其实5%失败率挺正常了，别指望prompt能100%锁死格式。我一般会在prompt里明确写“只输出JSON，不要任何markdown标记”，然后把temperature调到0，再配合json repair库兜底。另外你可以试试response_format参数指定json_object，比纯靠prompt稳不少，动态字段的话schema里用additionalProperties放开就行。后处理那层一定要写，别偷懒。

我最近也在做类似的事，query解析成结构化数据，失败率大概也是这个量级。后来发现一个挺管用的技巧，就是在prompt里明确禁止markdown，直接写“只输出纯JSON，不要用代码块包裹，不要任何解释文字”，比单纯说“输出JSON”要稳不少。另外我会把schema用TypeScript接口的形式写出来，而不是自然语言描述字段，模型对类型的理解明显更准。还有个偏方是在末尾加一句“如果无法确定字段值，用null而不是省略字段”，能减少它自由发挥的概率。不过说实话，5%的失败率很难完全消掉，我现在是prompt和后处理双管齐下，正则先剥掉代码块，再用json.loads加个容错解析，基本能兜住。你试过用response_format参数吗？GPT-4o支持json_object模式，配合prompt用比纯靠提示词稳很多，就是字段动态那块确实还得自己想别的办法。

JSON mode加response_format参数试试，比写prompt靠谱多了。

试试response_format强制json模式，再配个正则兜底清洗，基本能压到1%以下。

我之前也遇到过类似问题，后来换了方案。

我一般是把schema直接塞prompt里，再强调“只输出JSON，不要任何解释和代码块标记”，然后在代码里做一层兜底：先strip掉json和，再json.loads，失败就重试一次带错误信息回灌。另外字段名大小写问题可以在prompt里用全大写示例固定，或者解析后用pydantic做normalize。说实话5%失败率挺正常，纯prompt很难做到100%，关键还是把重试和后处理做扎实。

5%-10%的失败率其实挺正常，我现在的做法是prompt里只负责“尽量规范”，真正的兜底交给后处理：先正则把json和剥掉，再json.loads，失败就重试一次并把报错信息塞回去让模型自修。字段名大小写这种可以在prompt里直接给个schema模板，强调“字段名必须逐字匹配”。另外可以试试response_format指定json_object，配合低温度，能再压一截。