实战

CNN vs GPT-4o 与 Claude 3.5:医疗图像分类谁更强?

Lynch Lab 的测试中,10 岁研究者开发的 CNN 在皮肤病变分类任务上超过 GPT-4o 和 Claude 3.5。这个结果能说明什么,又有哪些数据仍需补齐?

字号

一个由 10 岁研究者开发的 CNN,在 Lynch Lab 的皮肤病变图像分类测试中超过了 GPT-4o 和 Claude 3.5。它提醒工程师:在医疗任务中,数据、专用架构和评价口径,可能比模型规模更重要。

原始研究:Lynch Lab — LLM Skin Cancer。

报告结果说了什么

Lynch Lab 比较了三类模型:研究者开发的 CNN、GPT-4o 和 Claude 3.5。任务是皮肤病变图像分类。

研究页面称,CNN 在这次测试中的表现高于所测前沿 LLM。

这里要分开看两个结论。

第一,报告称 CNN 在该任务和测试设置下取得了更好的分类结果。

第二,这不能证明 CNN 普遍优于 LLM,更不能证明小模型已经取代大模型。原始页面没有给出完整测试集规模、灵敏度、特异度和评测协议,也没有提供足以支持广泛结论的临床数据。

因此,“CNN 击败前沿 LLM”必须限定在这次报告的任务与设置内。

这次比较测了什么

这项工作不是让 ChatGPT 描述一张病变照片,再凭文字判断“像不像皮肤癌”。

它采用 CNN 与前沿 LLM 进行皮肤病变分类评测。模型处理同类图像,输出再落到可比较的分类结果。

这种比较至少有三个优点:

  • 任务统一,不再拿 CNN 的分类指标对比 LLM 的文字回答;
  • 模型直接对照,可以观察架构和训练目标的差异;
  • 结果可以计算,不只依赖个别演示案例。

但它仍不等于完整临床验证。医疗 AI 不能只看 accuracy。

漏掉恶性病变和误报良性病变,错误成本不同。进入研究或部署前,还要检查灵敏度、特异度、置信度校准、外部数据集表现,以及医生实际工作流中的表现。

这项结果适合用来提出问题,不适合直接用于临床决策。

为什么 CNN 可能更适合这类任务

GPT-4o 和 Claude 3.5 是通用多模态模型,但通用能力不会自动覆盖每个垂直任务。

专用 CNN 的训练数据、标签空间和损失函数都围绕皮肤病变识别展开。它直接学习视觉特征与分类目标,不必先生成一段自然语言。

通用 LLM 的目标更宽:理解图像、遵循指令,再生成文本。任务越固定,这种通用性越可能变成额外负担。

维度 专用 CNN 通用多模态 LLM
任务边界 固定标签集与明确目标 通过指令处理多种任务
训练信号 直接围绕目标标签优化 视觉理解、语言生成等目标更分散
输出空间 类别或概率分布 自然语言与开放回答
推理成本 通常更轻,可本地部署 更依赖计算资源与 API 服务
可解释性 可结合显著图和中间层分析 文字理由不等于因果证据

最后一行尤其需要谨慎。LLM 说“可能存在黑色素瘤”,不代表它给出了可靠的医学判断依据。

医疗场景还要计算延迟、服务成本和可用性。API 模型依赖网络和供应商服务。专用 CNN 可能更小、更快,也能部署在诊所本地。对于高频初筛任务,系统成本有时比榜单上的小幅领先更重要。

所以,“模型更大”不等于“每个医疗任务都更强”。

10 岁开发者的真实门槛

低门槛不等于没有门槛。

要让 CNN 参与比较,至少要完成数据整理与标注、训练模型、划分训练集和测试集、调用前沿 LLM、解析结果,再统一评价口径。

研究入口:Lynch Lab — LLM Skin Cancer。

这项工作在 Hacker News 获得 228 分和 112 条评论。讨论页面:HN Comments。

这些数字来自原始素材。评论集中在研究过程、数据来源、评测设计和结论边界。讨论的价值不只是围观年龄反差,而是帮助项目接受更严格的方法审查。

后续最需要补充的信息包括:

  • 测试集有多少张图,来自哪些机构,是否存在重复或数据泄漏;
  • 患病类型、肤色和图像质量如何分布;
  • CNN 的训练数据是否与 LLM 测试数据重叠;
  • 灵敏度、特异度、精确率和 F1 如何计算;
  • LLM 是否使用图像输入,多次运行是否稳定;
  • 是否在独立外部数据集上完成复现。

公开这些信息,比再增加一个更响亮的标题更有用。

医疗 AI 该怎么比较

如果要复现或扩展这项评测,我会按下面的顺序做。

1. 固定任务和标签空间

先明确输入是单张病变照片、临床照片,还是 dermoscopy 图像。

模型可以输出自然语言,但最终必须映射到同一套类别。否则比较的是表达方式,不是分类能力。

2. 固定数据与提示条件

所有模型使用同一份测试集。

LLM 侧还要记录模型版本、温度、系统提示词、采样次数,以及图片是否经过压缩或裁切。GPT-4o 和 Claude 3.5 都可能存在产品版本变化。不记录这些条件,结果很难复现。

3. 不只看 accuracy

医疗分类还应报告:

  • 灵敏度;
  • 特异度;
  • 精确率、召回率和 F1;
  • 校准误差与预测置信度;
  • 不同患病类型、肤色和图像设备上的分组表现。

如果任务涉及初筛,需要结合漏诊和误报成本设定阈值。指标不能脱离实际用途单独解释。

4. 单独计算系统成本

记录单次推理延迟、GPU 或 API 成本、吞吐、模型体积和部署依赖。

专用 CNN 与闭源 LLM 的成本结构不同。只比较一次 API 调用价格,会漏掉本地推理、维护和故障回退成本。

5. 检查解释和失败样本

人工抽查高分正确、高分错误和低置信度样本。

重点检查模型是否依赖伪相关线索,例如胶体边框、拍摄设备、图像标记或背景色。专用模型输出固定类别,看起来更简洁,但简洁本身不是证据。

编辑思考

这次结果重要,不在“儿童逆袭”的叙事,而在它把模型选择拉回任务本身。医疗图像分类通常有固定输入、固定标签和可量化的错误成本。专用 CNN 可以直接围绕这些约束训练;通用 LLM 覆盖的任务更宽,表达空间和推理开销也可能更大。

我的判断是,医疗 AI 会更多采用“通用模型加专用模型”的组合。通用模型处理病史整理、报告草拟和交互,专用视觉模型负责稳定、可测量的分类。各用擅长的模型,比让一个模型包办全部流程更实际。

它与过去的演示型 benchmark 争论不同。这次至少把 CNN 与前沿 LLM 放进同一分类任务,而不是比较几句更流畅的回答。不过,原始素材缺少测试集规模、灵敏度、特异度、完整协议和外部临床验证。它是值得复核的结果,还不是临床结论。后续应看独立数据能否复现,而不是只讨论“10 岁开发者”这个标签。

来源: https://lynchlab.net/llm-skin-cancer