實戰

10 歲開發者的 CNN 勝過 GPT-4o 與 Claude 3.5?

Lynch Lab 的皮膚病變分類測試顯示,由 10 歲研究者開發的 CNN 表現優於 GPT-4o 與 Claude 3.5。這項結果凸顯專用架構、資料品質與評測方法在醫療 AI 中的重要性,但目前仍不足以支持臨床結論。

字級

由 10 歲研究者開發的 CNN,在 Lynch Lab 的皮膚病變影像分類測試中,表現超過 GPT-4o 與 Claude 3.5。這項結果提醒工程師:在醫療任務中,資料、專用架構與評測方式,可能比模型規模更重要。

原始研究:Lynch Lab — LLM Skin Cancer。

報告結果說明了什麼

Lynch Lab 比較了三類模型:研究者開發的 CNN、GPT-4o 與 Claude 3.5,執行相同的皮膚病變影像分類任務。

研究頁面指出,在這次測試中,CNN 的表現優於受測的前沿 LLM。

但這裡必須分開解讀兩個結論。

第一,報告顯示 CNN 在該任務與測試設定下取得了更好的分類結果。

第二,這並不能證明 CNN 普遍優於 LLM,更不能證明小模型已經取代大模型。原始頁面未完整交代測試集規模、靈敏度、特異度與評測協議,也沒有提供足以支撐廣泛結論的臨床資料。

因此,「CNN 擊敗前沿 LLM」這項說法,必須限定在本次報告的任務與測試設定內。

這次比較實際測了什麼

這項工作並不是讓 ChatGPT 描述一張病變照片,再依文字判斷「看起來像不像皮膚癌」。

研究採用 CNN 與前沿 LLM 進行皮膚病變分類評測,讓模型處理同類影像,並將輸出轉換為可直接比較的分類結果。

這種比較方式至少有三個優點:

  • 任務統一,不必再以 CNN 的分類指標對照 LLM 的文字回答;
  • 模型能直接對照,有助於觀察架構與訓練目標的差異;
  • 結果可以量化,不必只依賴個別示範案例。

但這仍不等於完整的臨床驗證。醫療 AI 不能只看 accuracy。

漏掉惡性病變與將良性病變誤判為惡性,對應的錯誤成本不同。進入研究或部署前,還須檢查靈敏度、特異度、信心校準、外部資料集表現,以及醫生在實際工作流程中的使用體驗。

這項結果適合用來提出問題,不適合直接作為臨床決策依據。

為什麼 CNN 可能更適合這類任務

GPT-4o 與 Claude 3.5 是通用多模態模型,但通用能力不會自動轉化為每個垂直領域的專業表現。

專用 CNN 的訓練資料、標籤空間與損失函數都圍繞皮膚病變辨識設計。它直接學習視覺特徵與分類目標,不必先產生一段自然語言。

通用 LLM 的目標更廣泛:理解影像、遵循指令,再生成文字。任務愈固定,這種通用性愈可能成為額外負擔。

面向 專用 CNN 通用多模態 LLM
任務邊界 固定標籤集與明確目標 透過指令處理多種任務
訓練訊號 直接依目標標籤最佳化 視覺理解、語言生成等目標較分散
輸出空間 類別或機率分布 自然語言與開放式回答
推理成本 通常較低,可在本機部署 更依賴運算資源與 API 服務
可解釋性 可結合顯著圖與中間層分析 文字理由不等於因果證據

最後一項尤其需要謹慎。LLM 說「可能存在黑色素瘤」,不代表它已提供可靠的醫學判斷依據。

醫療場景還須計算延遲、服務成本與可用性。API 模型依賴網路與供應商服務;專用 CNN 可能更小、更快,也能部署在診所端。對於高頻率的初步篩檢任務,系統成本有時比排行榜上的小幅領先更重要。

因此,「模型更大」不等於「每項醫療任務都更強」。

10 歲開發者面對的真實門檻

低門檻不等於沒有門檻。

要讓 CNN 參與比較,至少得完成資料整理與標註、模型訓練、訓練集與測試集切分、呼叫前沿 LLM、解析結果,最後再統一評測方式。

研究入口:Lynch Lab — LLM Skin Cancer。

這項工作在 Hacker News 獲得 228 分與 112 則留言。討論頁面:HN Comments。

這些數字來自原始素材。留言主要聚焦研究流程、資料來源、評測設計與結論的適用邊界。這場討論的價值不只在於年齡反差,更在於協助這項研究接受更嚴格的方法審查。

後續最需要補充的資訊包括:

  • 測試集有多少張影像,來自哪些機構,是否存在重複或資料洩漏;
  • 疾病類型、膚色與影像品質如何分布;
  • CNN 的訓練資料是否與 LLM 測試資料重疊;
  • 靈敏度、特異度、精確率與 F1 是如何計算;
  • LLM 是否使用影像輸入,多次執行時結果是否穩定;
  • 是否已在獨立的外部資料集上完成重現。

公開這些資訊,比再增加一個更吸睛的標題更有用。

醫療 AI 該如何比較

若要重現或擴充這項評測,我會依下列順序進行。

1. 固定任務與標籤空間

先釐清輸入是單張病變照片、臨床照片,還是 dermoscopy 影像。

模型可以輸出自然語言,但最終仍須映射至同一套類別。否則比較的便是表達方式,而非分類能力。

2. 固定資料與提示條件

所有模型應使用同一份測試集。

LLM 端還須記錄模型版本、temperature、system prompt、取樣次數,以及圖片是否經過壓縮或裁切。GPT-4o 與 Claude 3.5 都可能隨產品版本而變動;若未記錄這些條件,結果便很難重現。

3. 不只看 accuracy

醫療分類還應報告:

  • 靈敏度;
  • 特異度;
  • 精確率、召回率與 F1;
  • 校準誤差與預測信心;
  • 不同疾病類型、膚色與影像設備上的分組表現。

如果任務涉及初步篩檢,便須結合漏診與誤報成本設定閾值。指標不能脫離實際用途單獨解讀。

4. 獨立計算系統成本

記錄單次推理延遲、GPU 或 API 成本、吞吐量、模型大小與部署相依性。

專用 CNN 與閉源 LLM 的成本結構不同。只比較一次 API 呼叫價格,會忽略本機推理、維護與故障回退成本。

5. 檢查解釋與失敗樣本

人工抽查高信心且正確、高信心但錯誤,以及低信心的樣本。

重點檢查模型是否依賴偽相關線索,例如膠體邊框、拍攝設備、影像標記或背景色。專用模型只輸出固定類別,形式上看起來更簡潔,但簡潔本身並不是證據。

編輯觀點

這項結果的重要性不在「兒童逆襲」的敘事,而在於它把模型選擇拉回任務本身。醫療影像分類通常具有固定輸入、固定標籤,以及可量化的錯誤成本。專用 CNN 能直接圍繞這些限制進行訓練;通用 LLM 涵蓋的任務更廣,表達空間與推理開销也可能更大。

我的判斷是,醫療 AI 會更多採用「通用模型搭配專用模型」的組合。通用模型負責整理病史、起草報告與互動,專用視覺模型則執行穩定、可量化的分類。讓不同模型各司其職,比要求單一模型包辦所有流程更實際。

這與過去以示範型 benchmark 為主的爭論不同。這次至少將 CNN 與前沿 LLM 放進同一項分類任務,而不是比較幾段更流暢的回答。不過,原始素材仍缺少測試集規模、靈敏度、特異度、完整協議與外部臨床驗證。這是一項值得複核的結果,尚不是臨床結論;後續應觀察能否以獨立資料重現,而非只聚焦「10 歲開發者」這個標籤。

來源: https://lynchlab.net/llm-skin-cancer