一个由 10 岁研究者开发的 CNN,在 Lynch Lab 的皮肤病变图像分类测试中超过了 GPT-4o 和 Claude 3.5。它提醒工程师:在医疗任务中,数据、专用架构和评价口径,可能比模型规模更重要。
原始研究:Lynch Lab — LLM Skin Cancer。
报告结果说了什么
Lynch Lab 比较了三类模型:研究者开发的 CNN、GPT-4o 和 Claude 3.5。任务是皮肤病变图像分类。
研究页面称,CNN 在这次测试中的表现高于所测前沿 LLM。
这里要分开看两个结论。
第一,报告称 CNN 在该任务和测试设置下取得了更好的分类结果。
第二,这不能证明 CNN 普遍优于 LLM,更不能证明小模型已经取代大模型。原始页面没有给出完整测试集规模、灵敏度、特异度和评测协议,也没有提供足以支持广泛结论的临床数据。
因此,“CNN 击败前沿 LLM”必须限定在这次报告的任务与设置内。
这次比较测了什么
这项工作不是让 ChatGPT 描述一张病变照片,再凭文字判断“像不像皮肤癌”。
它采用 CNN 与前沿 LLM 进行皮肤病变分类评测。模型处理同类图像,输出再落到可比较的分类结果。
这种比较至少有三个优点:
- 任务统一,不再拿 CNN 的分类指标对比 LLM 的文字回答;
- 模型直接对照,可以观察架构和训练目标的差异;
- 结果可以计算,不只依赖个别演示案例。
但它仍不等于完整临床验证。医疗 AI 不能只看 accuracy。
漏掉恶性病变和误报良性病变,错误成本不同。进入研究或部署前,还要检查灵敏度、特异度、置信度校准、外部数据集表现,以及医生实际工作流中的表现。
这项结果适合用来提出问题,不适合直接用于临床决策。
为什么 CNN 可能更适合这类任务
GPT-4o 和 Claude 3.5 是通用多模态模型,但通用能力不会自动覆盖每个垂直任务。
专用 CNN 的训练数据、标签空间和损失函数都围绕皮肤病变识别展开。它直接学习视觉特征与分类目标,不必先生成一段自然语言。
通用 LLM 的目标更宽:理解图像、遵循指令,再生成文本。任务越固定,这种通用性越可能变成额外负担。
| 维度 | 专用 CNN | 通用多模态 LLM |
|---|---|---|
| 任务边界 | 固定标签集与明确目标 | 通过指令处理多种任务 |
| 训练信号 | 直接围绕目标标签优化 | 视觉理解、语言生成等目标更分散 |
| 输出空间 | 类别或概率分布 | 自然语言与开放回答 |
| 推理成本 | 通常更轻,可本地部署 | 更依赖计算资源与 API 服务 |
| 可解释性 | 可结合显著图和中间层分析 | 文字理由不等于因果证据 |
最后一行尤其需要谨慎。LLM 说“可能存在黑色素瘤”,不代表它给出了可靠的医学判断依据。
医疗场景还要计算延迟、服务成本和可用性。API 模型依赖网络和供应商服务。专用 CNN 可能更小、更快,也能部署在诊所本地。对于高频初筛任务,系统成本有时比榜单上的小幅领先更重要。
所以,“模型更大”不等于“每个医疗任务都更强”。
10 岁开发者的真实门槛
低门槛不等于没有门槛。
要让 CNN 参与比较,至少要完成数据整理与标注、训练模型、划分训练集和测试集、调用前沿 LLM、解析结果,再统一评价口径。
研究入口:Lynch Lab — LLM Skin Cancer。
这项工作在 Hacker News 获得 228 分和 112 条评论。讨论页面:HN Comments。
这些数字来自原始素材。评论集中在研究过程、数据来源、评测设计和结论边界。讨论的价值不只是围观年龄反差,而是帮助项目接受更严格的方法审查。
后续最需要补充的信息包括:
- 测试集有多少张图,来自哪些机构,是否存在重复或数据泄漏;
- 患病类型、肤色和图像质量如何分布;
- CNN 的训练数据是否与 LLM 测试数据重叠;
- 灵敏度、特异度、精确率和 F1 如何计算;
- LLM 是否使用图像输入,多次运行是否稳定;
- 是否在独立外部数据集上完成复现。
公开这些信息,比再增加一个更响亮的标题更有用。
医疗 AI 该怎么比较
如果要复现或扩展这项评测,我会按下面的顺序做。
1. 固定任务和标签空间
先明确输入是单张病变照片、临床照片,还是 dermoscopy 图像。
模型可以输出自然语言,但最终必须映射到同一套类别。否则比较的是表达方式,不是分类能力。
2. 固定数据与提示条件
所有模型使用同一份测试集。
LLM 侧还要记录模型版本、温度、系统提示词、采样次数,以及图片是否经过压缩或裁切。GPT-4o 和 Claude 3.5 都可能存在产品版本变化。不记录这些条件,结果很难复现。
3. 不只看 accuracy
医疗分类还应报告:
- 灵敏度;
- 特异度;
- 精确率、召回率和 F1;
- 校准误差与预测置信度;
- 不同患病类型、肤色和图像设备上的分组表现。
如果任务涉及初筛,需要结合漏诊和误报成本设定阈值。指标不能脱离实际用途单独解释。
4. 单独计算系统成本
记录单次推理延迟、GPU 或 API 成本、吞吐、模型体积和部署依赖。
专用 CNN 与闭源 LLM 的成本结构不同。只比较一次 API 调用价格,会漏掉本地推理、维护和故障回退成本。
5. 检查解释和失败样本
人工抽查高分正确、高分错误和低置信度样本。
重点检查模型是否依赖伪相关线索,例如胶体边框、拍摄设备、图像标记或背景色。专用模型输出固定类别,看起来更简洁,但简洁本身不是证据。
编辑思考
这次结果重要,不在“儿童逆袭”的叙事,而在它把模型选择拉回任务本身。医疗图像分类通常有固定输入、固定标签和可量化的错误成本。专用 CNN 可以直接围绕这些约束训练;通用 LLM 覆盖的任务更宽,表达空间和推理开销也可能更大。
我的判断是,医疗 AI 会更多采用“通用模型加专用模型”的组合。通用模型处理病史整理、报告草拟和交互,专用视觉模型负责稳定、可测量的分类。各用擅长的模型,比让一个模型包办全部流程更实际。
它与过去的演示型 benchmark 争论不同。这次至少把 CNN 与前沿 LLM 放进同一分类任务,而不是比较几句更流畅的回答。不过,原始素材缺少测试集规模、灵敏度、特异度、完整协议和外部临床验证。它是值得复核的结果,还不是临床结论。后续应看独立数据能否复现,而不是只讨论“10 岁开发者”这个标签。