事件速览:一家公司,三个被告席
effort.news 的一篇深度调查,揭出一家数据供应商同时被指控为 OpenAI、Anthropic、Meta 三家提供存在版权与合规问题的训练数据。这条调查在 Hacker News 首页冲到 146 分、44 条讨论,评论区基本没人说「这是小道消息」。
来源:effort.news /irregular 和 HN 讨论(item id 49704132)。
为什么是这家不起眼的公司
过去两年,大众和媒体的注意力都在模型本身上。GPT-4o 的多模态、Claude 3.5 的代码能力、Sora 的 1 分钟镜头、LLaMA 3 的开源策略。Scaling law、test-time compute、MoE 架构……这些词被反复讨论。
没人问:这些模型吃进去的数据,从哪来?
这就是数据标注 / 采购 / 清洗公司在行业里的位置。最不透明的一环。
从报道方向看,它大概率同时在做三件事:
- 为头部实验室做大规模 SFT / RLHF 数据的标注
- 作为中间商从语料网站、出版商、UGC 平台采购原始数据
- 做去标识化、去版权痕迹等「清洗」工作
这不是它的错,是整个行业的错。数据层没人愿意审计,因为一审计,整条链路都得重做。
AI 公司的「供应商尽调」到底做了多少
对外讲「负责任 AI」、签各种版权承诺、Anthropic 还专门发过博客讲训练数据的版权合规审查流程。听起来很美。
但你把采购链条展开看,会发现这些承诺基本是空头支票。
典型链路:
- AI 公司签一家 Tier-1 数据供应商(签 NDA、写承诺)
- Tier-1 转手给 Tier-2(一般是人力成本更低的地区)
- Tier-2 再分包给个人 / 小作坊(Upwork、五人群)
- 最终数据从某个盗版论坛、某个未授权爬虫、某个 OCR 出来的盗版书里来
AI 公司的法务团队只审到第 1 层。第 2 层以下,原始数据从哪来、有没有授权、清洗过程是否破坏了版权水印,没人知道,也没人想知道。
这就是这次的审计黑洞。
这事的真正受害者不是大厂
OpenAI、Anthropic、Meta 各自有几十亿美元的现金储备和几百人律师团。他们吃下几张诉状的成本,等于一家中型 AI 创业公司一年的研发预算。
真正被连坐的是中小 AI 创业公司:
- 他们在用第三方闭源模型 API(Claude / GPT),模型训练数据合规了,自己也说不清
- 他们买不起 Scale AI 级别的数据采购,只能用现成的 dataset
- 当行业信任崩塌、监管收紧、用户退订,他们既没有合规预算,也没有自建数据团队兜底
结果是:大厂交了罚款继续跑,中小公司直接死。
能学到的工程教训
如果你在做一个依赖第三方数据或模型的 AI 产品,下面三条能救命:
1. 数据来源留痕
每一批训练数据 / SFT 数据 / RAG 语料,都要有来源清单。不是 Excel 表就行,要有版本号、采集日期、授权类型、清洗步骤。出事时你能 30 分钟内拿出 evidence chain。
import json
from datetime import datetime
def log_dataset(dataset_id, source, license, steps):
record = {
"dataset_id": dataset_id,
"source": source,
"license": license,
"collected_at": datetime.utcnow().isoformat(),
"processing_steps": steps,
}
with open(f"lineage/{dataset_id}.json", "w") as f:
json.dump(record, f, indent=2)
log_dataset(
"rag-corpus-2025-q1",
source="internal-crawl + licensed-feed-A",
license="CC-BY-SA-4.0 + commercial-license-2024-11",
steps=["dedup", "pii-redaction", "quality-filter-v3"],
)
2. 供应商合同里加 audit 条款
不是写「供应商承诺数据合规」就完事。要写:
- 供应商必须保留 24 个月的原始数据来源记录
- 采购方有权在 30 天内对二级分包商进行审计
- 合规问题一旦认定,采购方有权立即终止合同且不付尾款
合同能谈下来多少,看你的采购量。但至少要试。
3. 关键场景自建 fallback
不要把核心产品完全压在第三方上。如果你的产品严重依赖某个闭源模型的某个能力,至少要有一个开源替代(Qwen、Llama、DeepSeek)做兜底。数据层面也一样,核心场景的标注数据,能自建就自建,哪怕只覆盖 20% 的流量。
编辑思考
这件事和过去的版权诉讼(NYT vs OpenAI、Getty vs Stability)最大的不同,是这次戳穿的是整个数据供应链的「外包免责」幻觉。之前告的是大厂「你用了我的内容」,这次戳的是:你以为 AI 公司站在原告对面,其实它们自己也是这条脏链的下游受害者——或者更准确地说,是装睡的那一方。
我的判断(反共识):这件事短期不会改变采购模式,反而会让大厂法务加速做「反向清洗」——把所有责任推给分包商,自己扮演「我也是受害者」的角色。effort.news 这篇报道给的不是监管的弹药,是 PR 团队的剧本。
但有一点和过去不同:EU AI Act 已经进入执行阶段,审计需求是刚性的,不再是公关选项。这是供应链透明化的第一个真实推手,不是舆论。
不确定的地方:被点名的这家数据供应商,会不会因为合作条款里的保密 / 仲裁机制而消失在法律迷雾里?调查报道开了口子,但能不能撬动实际披露,半年内见分晓。
工程师视角下有一点是确定的:自己手里的 data lineage,现在就开始整理。再拖一年,就是给别人递刀子。
参考来源:
- effort.news /irregular
- Hacker News 讨论(item id 49704132)