部署大模型时Prompt写不好，API调用总出乱码怎么破？

这大概率是编码问题，试试在API请求头里强制指定utf-8，能解决大部分乱码。

这问题我熟，之前调本地模型也踩过这坑。\u00e4这串其实是UTF-8被二次编码了，不是模型乱码，是你API那层没做解码，建议检查一下响应头的charset设置。Prompt里写“请用中文”对7B模型作用有限，不如直接给个few-shot示例，把输入输出格式钉死，比反复强调有效得多。清理乱码可以用个简单脚本，或者调Ollama的raw模式试试，能省不少事。

乱码那个大概率是编码没对齐，跟Prompt关系不大，你试试在请求里加个Content-Type头指定utf-8，很多新手都漏这步。关于格式问题，7B模型理解不了太复杂的指令，与其写“严格按照JSON”，不如在system里直接贴一段你想要的输出样例，让它照着抄，效果立竿见影。我一般还会设个temperature低一点，0.3左右，能减少意外输出。

遇到过一模一样的，那串\u00e4其实就是UTF-8的字节被当成Unicode转义了，用Python的errors='replace'或者直接encode('latin1').decode('utf-8', errors='ignore')就能清掉。Prompt里加“不要输出markdown”这种负面指令反而容易触发模型叛逆，不如改成“仅输出纯文本JSON对象，不要任何额外说明”，再配合max_t

乱码那个其实是UTF-8被双重编码了，你拿json.loads之前先试试把字符串重新encode('latin-1').decode('utf-8')，基本能救回来。至于Prompt，光说“请用中文回答”不够，得加一句“不要输出任何解释性文字，直接返回JSON对象”，然后最好在系统提示词里给个few-shot示例，模型会老实很多。另外7B模型对指令跟随本来就不如大模型，建议试试温度调低到0.1，能少很多幺蛾子。

你遇到的乱码其实是Unicode转义，\u00e4这种是UTF-8字节被当成latin-1解码了，不是模型的问题，检查下Ollama的返回编码和你的解析层。JSON里夹Markdown很常见，7B模型指令遵循本来就弱，系统提示里最好给个few-shot示例，光说“严格JSON”它真不一定听。清理的话直接在代码里正则抽{...}再json.loads就行，别指望模型每次都乖。

这问题我踩过，那个\u00e4其实是UTF-8字节被当成Latin-1解码了，不是模型吐乱码，多半是API返回后的编码处理没对上。ChatGLM对中文本身没啥问题，7B小模型指令跟随确实弱一点，光靠Prompt压JSON格式不太稳。可以试试用Ollama的format参数直接约束JSON输出，或者上outlines、lm-format-enforcer这类工具做结构化生成。另外返回前统一按UTF-8解码，别让它二次转义。

这个乱码其实跟Prompt写得好不好关系不大，\u00e4\u00bd\u00a0就是UTF-8字节被错误解码的结果，典型是流式输出时按字节切断了多字节字符，或者你中间某个环节用了错误的编码去解析。ChatGLM对中文支持本身没问题，7B模型在中文上算是比较能打的，问题多半出在你的请求/响应链路里。你可以先确认一下Ollama的API返回是不是流式的，如果是，试着关掉stream或者在前端按完整的chunk做解码，别一个byte一个byte去转字符串。至于模型偶尔吐Markdown，这个确实是Prompt层面的问题，光说“严格按照JSON格式”不够，最好在system prompt里给一个完整的输出示例，甚至把response_format这类参数用上（如果接口支持的话）。另外可以试试用outlines或者lm-format-enforcer这类工具做结构化约束，比纯靠Prompt喊话稳得多。清理乱码的话，Python里可以先用errors='replace'兜底，但根本解法还是把编码链路理顺，不然清了也是治标不治本。

乱码这个其实跟中文支持关系不大，\u00e4\u00bd\u00a0是UTF-8字节被当成latin-1转义了，多半是你解析response时编码没对齐。ChatGLM对JSON的遵循本来就一般，光靠Prompt约束不太够。可以试试用outlines或者lm-format-enforcer这类工具做结构化输出，从解码层卡格式，比在Prompt里喊“严格JSON”靠谱多了。

你遇到的乱码其实是Unicode转义，不是模型中文支持的问题，多半是输出解析那层没处理好。系统提示词里最好直接给一个JSON样例，比写“严格按JSON输出”管用得多。另外ChatGLM本身对格式指令的服从性一般，可以在API侧加个json修复或正则兜底，别全指望模型自觉。Ollama的话记得看看template有没有把system角色正确传进去，这个坑挺常见的。