我用GPT-4o做合同信息抽取：5版Prompt对比，Token差3倍准确率差41%

# eval_runner.py
import json, time
from openai import OpenAI
from typing import Callable

client = OpenAI(api_key="sk-xxx")

def run_eval(prompt_builder: Callable, contracts: list[dict], model="gpt-4o-2024-08-06"):
    total_tokens, total_acc, total_latency = 0, 0, 0
    for item in contracts:
        prompt = prompt_builder(item["text"])
        t0 = time.time()
        resp = client.chat.completions.create(
            model=model,
            temperature=0,
            top_p=1,
            response_format={"type": "json_object"},
            messages=[{"role": "user", "content": prompt}],
        )
        latency = time.time() - t0
        pred = json.loads(resp.choices[0].message.content)
        acc = field_accuracy(pred, item["label"])  # 自定义字段级比对
        total_tokens += resp.usage.total_tokens
        total_acc += acc
        total_latency += latency
    n = len(contracts)
    return {
        "avg_accuracy": round(total_acc / n, 4),
        "avg_tokens": round(total_tokens / n, 1),
        "avg_latency_s": round(total_latency / n, 2),
    }

def field_accuracy(pred: dict, label: dict) -> float:
    keys = label.keys()
    hit = sum(1 for k in keys if str(pred.get(k, "")).strip() == str(label[k]).strip())
    return hit / len(keys)

def v1(text):
    return f"""从下面的合同中抽取字段：合同编号、甲方、乙方、签订日期、金额、税率、付款方式、违约责任、交付周期、签约地点、联系人、联系电话。

合同内容：
{text}
"""

SCHEMA = """{
  "contract_no": "string, 合同编号，若无则填 null",
  "party_a": "string, 甲方全称",
  "party_b": "string, 乙方全称",
  "sign_date": "string, 格式严格为 YYYY-MM-DD",
  "amount": "number, 合同总金额（含税），单位元，去掉千分位",
  "tax_rate": "number, 税率，如 0.13 表示13%，无法确定填 null",
  "payment_method": "string, 付款方式原文摘要，不超过50字",
  "liability": "string, 违约责任原文摘要，不超过100字",
  "delivery_period": "string, 交付周期，如 '30个自然日'",
  "sign_place": "string, 签约地点",
  "contact": "string, 联系人姓名",
  "phone": "string, 联系电话，保留原始格式"
}"""

def v3(text):
    return f"""你是合同信息抽取专家。请从合同文本中抽取字段，严格按以下JSON Schema输出，不要输出任何解释。

Schema：
{SCHEMA}

规则：
1. 找不到的字段填 null，禁止编造。
2. 日期统一 YYYY-MM-DD。
3. 金额只保留数字，不含单位和逗号。

合同文本：
{text}"""

FEW_SHOT = """
示例1（简单）：
输入：甲方：XX科技有限公司；乙方：YY贸易有限公司；合同金额：人民币1,250,000元（含税13%）...
输出：{"contract_no": "HT-2024-001", "party_a": "XX科技有限公司", ...}

示例2（难例，金额分散且有歧义）：
输入：...本合同总价为人民币捌拾万元整，其中不含税金额707,964.60元，增值税税额92,035.40元...
输出：{"amount": 800000, "tax_rate": 0.13, ...}
注意：amount 取含税总价，不要取不含税金额。
"""

def v5(text):
    return f"""你是合同信息抽取专家，严格按Schema输出JSON。

Schema：
{SCHEMA}

{FEW_SHOT}

抽取步骤（在内心执行，不要输出）：
1. 先定位金额相关句子，判断是含税还是不含税总价。
2. 再定位日期，区分签订日期与生效日期。
3. 最后逐字段填充，缺失填 null。

合同文本：
{text}"""