实战

一家数据标注公司绊倒 OpenAI / Anthropic / Meta:审计黑洞曝光

三家头部 AI 公司训练数据合规丑闻指向同一家供应商。这不是孤例,是整个 AI 数据采购链的审计黑洞。中小公司比大厂更受伤。

字号

事件速览:一家公司,三个被告席

effort.news 的一篇深度调查,揭出一家数据供应商同时被指控为 OpenAI、Anthropic、Meta 三家提供存在版权与合规问题的训练数据。这条调查在 Hacker News 首页冲到 146 分、44 条讨论,评论区基本没人说「这是小道消息」。

来源:effort.news /irregular 和 HN 讨论(item id 49704132)。

为什么是这家不起眼的公司

过去两年,大众和媒体的注意力都在模型本身上。GPT-4o 的多模态、Claude 3.5 的代码能力、Sora 的 1 分钟镜头、LLaMA 3 的开源策略。Scaling law、test-time compute、MoE 架构……这些词被反复讨论。

没人问:这些模型吃进去的数据,从哪来?

这就是数据标注 / 采购 / 清洗公司在行业里的位置。最不透明的一环。

从报道方向看,它大概率同时在做三件事:
- 为头部实验室做大规模 SFT / RLHF 数据的标注
- 作为中间商从语料网站、出版商、UGC 平台采购原始数据
- 做去标识化、去版权痕迹等「清洗」工作

这不是它的错,是整个行业的错。数据层没人愿意审计,因为一审计,整条链路都得重做。

AI 公司的「供应商尽调」到底做了多少

对外讲「负责任 AI」、签各种版权承诺、Anthropic 还专门发过博客讲训练数据的版权合规审查流程。听起来很美。

但你把采购链条展开看,会发现这些承诺基本是空头支票。

典型链路:

  1. AI 公司签一家 Tier-1 数据供应商(签 NDA、写承诺)
  2. Tier-1 转手给 Tier-2(一般是人力成本更低的地区)
  3. Tier-2 再分包给个人 / 小作坊(Upwork、五人群)
  4. 最终数据从某个盗版论坛、某个未授权爬虫、某个 OCR 出来的盗版书里来

AI 公司的法务团队只审到第 1 层。第 2 层以下,原始数据从哪来、有没有授权、清洗过程是否破坏了版权水印,没人知道,也没人想知道。

这就是这次的审计黑洞。

这事的真正受害者不是大厂

OpenAI、Anthropic、Meta 各自有几十亿美元的现金储备和几百人律师团。他们吃下几张诉状的成本,等于一家中型 AI 创业公司一年的研发预算。

真正被连坐的是中小 AI 创业公司:

  • 他们在用第三方闭源模型 API(Claude / GPT),模型训练数据合规了,自己也说不清
  • 他们买不起 Scale AI 级别的数据采购,只能用现成的 dataset
  • 当行业信任崩塌、监管收紧、用户退订,他们既没有合规预算,也没有自建数据团队兜底

结果是:大厂交了罚款继续跑,中小公司直接死。

能学到的工程教训

如果你在做一个依赖第三方数据或模型的 AI 产品,下面三条能救命:

1. 数据来源留痕

每一批训练数据 / SFT 数据 / RAG 语料,都要有来源清单。不是 Excel 表就行,要有版本号、采集日期、授权类型、清洗步骤。出事时你能 30 分钟内拿出 evidence chain。

import json
from datetime import datetime

def log_dataset(dataset_id, source, license, steps):
    record = {
        "dataset_id": dataset_id,
        "source": source,
        "license": license,
        "collected_at": datetime.utcnow().isoformat(),
        "processing_steps": steps,
    }
    with open(f"lineage/{dataset_id}.json", "w") as f:
        json.dump(record, f, indent=2)

log_dataset(
    "rag-corpus-2025-q1",
    source="internal-crawl + licensed-feed-A",
    license="CC-BY-SA-4.0 + commercial-license-2024-11",
    steps=["dedup", "pii-redaction", "quality-filter-v3"],
)

2. 供应商合同里加 audit 条款

不是写「供应商承诺数据合规」就完事。要写:
- 供应商必须保留 24 个月的原始数据来源记录
- 采购方有权在 30 天内对二级分包商进行审计
- 合规问题一旦认定,采购方有权立即终止合同且不付尾款

合同能谈下来多少,看你的采购量。但至少要试。

3. 关键场景自建 fallback

不要把核心产品完全压在第三方上。如果你的产品严重依赖某个闭源模型的某个能力,至少要有一个开源替代(Qwen、Llama、DeepSeek)做兜底。数据层面也一样,核心场景的标注数据,能自建就自建,哪怕只覆盖 20% 的流量。

编辑思考

这件事和过去的版权诉讼(NYT vs OpenAI、Getty vs Stability)最大的不同,是这次戳穿的是整个数据供应链的「外包免责」幻觉。之前告的是大厂「你用了我的内容」,这次戳的是:你以为 AI 公司站在原告对面,其实它们自己也是这条脏链的下游受害者——或者更准确地说,是装睡的那一方。

我的判断(反共识):这件事短期不会改变采购模式,反而会让大厂法务加速做「反向清洗」——把所有责任推给分包商,自己扮演「我也是受害者」的角色。effort.news 这篇报道给的不是监管的弹药,是 PR 团队的剧本。

但有一点和过去不同:EU AI Act 已经进入执行阶段,审计需求是刚性的,不再是公关选项。这是供应链透明化的第一个真实推手,不是舆论。

不确定的地方:被点名的这家数据供应商,会不会因为合作条款里的保密 / 仲裁机制而消失在法律迷雾里?调查报道开了口子,但能不能撬动实际披露,半年内见分晓。

工程师视角下有一点是确定的:自己手里的 data lineage,现在就开始整理。再拖一年,就是给别人递刀子。


参考来源:
- effort.news /irregular
- Hacker News 讨论(item id 49704132)

来源: https://www.effort.news/irregular