最近在用MCP搭建一个小型工具链,让大模型调用几个本地API做数据处理。发现一个很头疼的问题:模型有时候会乖乖输出我指定的JSON格式,有时候又突然在JSON外面加一段解释文字,或者把字段名换掉。我在System Prompt里明确写了“只输出JSON,不要任何额外内容”,但还是不稳定。是不是MCP的上下文窗口或者工具调用机制影响了Prompt的优先级?还是说需要在每个User Message里都重复强调格式要求?有没有什么最佳实践能保证输出一致性?求大佬们指点,先谢过了。
最近在用MCP搭建一个小型工具链,让大模型调用几个本地API做数据处理。发现一个很头疼的问题:模型有时候会乖乖输出我指定的JSON格式,有时候又突然在JSON外面加一段解释文字,或者把字段名换掉。我在System Prompt里明确写了“只输出JSON,不要任何额外内容”,但还是不稳定。是不是MCP的上下文窗口或者工具调用机制影响了Prompt的优先级?还是说需要在每个User Message里都重复强调格式要求?有没有什么最佳实践能保证输出一致性?求大佬们指点,先谢过了。
光在system prompt里写“只输出JSON”确实不太够,模型经常选择性失忆。我一般会在工具调用的返回结果里也带上格式约束,相当于每次工具执行完都重新提醒一遍。另外可以试试在prompt里给个具体的JSON示例,比单纯描述字段名管用很多。如果还飘,那就在代码层做一层解析兜底,别指望模型百分百听话。