在AI行业,OpenAI的GPT模型几乎是通用智能的代名词,但全球最大的法律AI公司Harvey却做出了一个反直觉的选择:它每月处理12万亿token,却坚持不用OpenAI的云服务。这个决定背后,折射出垂直领域AI落地的核心矛盾——通用模型的能力与行业特殊需求之间的鸿沟。
Harvey的客户包括全球顶尖律所和企业法务团队,它处理的任务涉及合同审查、法律检索、案件预测等高风险场景。12万亿token的月处理量意味着每天要应对超过4000亿token的推理请求,这对延迟、准确性和数据隔离提出了极高要求。OpenAI的云服务虽然强大,但Harvey发现,直接依赖外部云会导致三个问题:一是法律数据需要完全隔离,避免任何泄露风险;二是模型推理的延迟和成本难以控制,尤其是在处理长文档时;三是法律术语和逻辑的定制化需求超出了通用API的灵活度。
因此,Harvey选择了自建基础设施,基于开源模型和专有数据训练自己的法律大模型,并部署在私有云上。这一架构使其能将token处理成本降低约40%,同时将响应时间控制在100毫秒以内。更重要的是,Harvey可以完全控制数据流,确保所有客户信息不出本地,满足GDPR和各国律师保密义务。这种“模型+数据+算力”的垂直整合,让Harvey在法律行业建立了类似Salesforce的生态位——律师们不再问“要不要用”,而是“怎么接进来”。
Harvey的案例给AI从业者一个重要启示:在垂直领域,通用模型的“好”未必等于“适合”。未来,法律、医疗、金融等行业会催生更多类似Harvey的定制化AI公司,它们不会与OpenAI竞争通用能力,而是通过自建云或混合架构,在数据主权和性能之间找到最优解。对于开发者而言,这意味着掌握模型微调、私有化部署和成本优化技能,将成为下一波AI落地浪潮中的核心竞争力。