由 10 歲研究者開發的 CNN,在 Lynch Lab 的皮膚病變影像分類測試中,表現超過 GPT-4o 與 Claude 3.5。這項結果提醒工程師:在醫療任務中,資料、專用架構與評測方式,可能比模型規模更重要。
原始研究:Lynch Lab — LLM Skin Cancer。
報告結果說明了什麼
Lynch Lab 比較了三類模型:研究者開發的 CNN、GPT-4o 與 Claude 3.5,執行相同的皮膚病變影像分類任務。
研究頁面指出,在這次測試中,CNN 的表現優於受測的前沿 LLM。
但這裡必須分開解讀兩個結論。
第一,報告顯示 CNN 在該任務與測試設定下取得了更好的分類結果。
第二,這並不能證明 CNN 普遍優於 LLM,更不能證明小模型已經取代大模型。原始頁面未完整交代測試集規模、靈敏度、特異度與評測協議,也沒有提供足以支撐廣泛結論的臨床資料。
因此,「CNN 擊敗前沿 LLM」這項說法,必須限定在本次報告的任務與測試設定內。
這次比較實際測了什麼
這項工作並不是讓 ChatGPT 描述一張病變照片,再依文字判斷「看起來像不像皮膚癌」。
研究採用 CNN 與前沿 LLM 進行皮膚病變分類評測,讓模型處理同類影像,並將輸出轉換為可直接比較的分類結果。
這種比較方式至少有三個優點:
- 任務統一,不必再以 CNN 的分類指標對照 LLM 的文字回答;
- 模型能直接對照,有助於觀察架構與訓練目標的差異;
- 結果可以量化,不必只依賴個別示範案例。
但這仍不等於完整的臨床驗證。醫療 AI 不能只看 accuracy。
漏掉惡性病變與將良性病變誤判為惡性,對應的錯誤成本不同。進入研究或部署前,還須檢查靈敏度、特異度、信心校準、外部資料集表現,以及醫生在實際工作流程中的使用體驗。
這項結果適合用來提出問題,不適合直接作為臨床決策依據。
為什麼 CNN 可能更適合這類任務
GPT-4o 與 Claude 3.5 是通用多模態模型,但通用能力不會自動轉化為每個垂直領域的專業表現。
專用 CNN 的訓練資料、標籤空間與損失函數都圍繞皮膚病變辨識設計。它直接學習視覺特徵與分類目標,不必先產生一段自然語言。
通用 LLM 的目標更廣泛:理解影像、遵循指令,再生成文字。任務愈固定,這種通用性愈可能成為額外負擔。
| 面向 | 專用 CNN | 通用多模態 LLM |
|---|---|---|
| 任務邊界 | 固定標籤集與明確目標 | 透過指令處理多種任務 |
| 訓練訊號 | 直接依目標標籤最佳化 | 視覺理解、語言生成等目標較分散 |
| 輸出空間 | 類別或機率分布 | 自然語言與開放式回答 |
| 推理成本 | 通常較低,可在本機部署 | 更依賴運算資源與 API 服務 |
| 可解釋性 | 可結合顯著圖與中間層分析 | 文字理由不等於因果證據 |
最後一項尤其需要謹慎。LLM 說「可能存在黑色素瘤」,不代表它已提供可靠的醫學判斷依據。
醫療場景還須計算延遲、服務成本與可用性。API 模型依賴網路與供應商服務;專用 CNN 可能更小、更快,也能部署在診所端。對於高頻率的初步篩檢任務,系統成本有時比排行榜上的小幅領先更重要。
因此,「模型更大」不等於「每項醫療任務都更強」。
10 歲開發者面對的真實門檻
低門檻不等於沒有門檻。
要讓 CNN 參與比較,至少得完成資料整理與標註、模型訓練、訓練集與測試集切分、呼叫前沿 LLM、解析結果,最後再統一評測方式。
研究入口:Lynch Lab — LLM Skin Cancer。
這項工作在 Hacker News 獲得 228 分與 112 則留言。討論頁面:HN Comments。
這些數字來自原始素材。留言主要聚焦研究流程、資料來源、評測設計與結論的適用邊界。這場討論的價值不只在於年齡反差,更在於協助這項研究接受更嚴格的方法審查。
後續最需要補充的資訊包括:
- 測試集有多少張影像,來自哪些機構,是否存在重複或資料洩漏;
- 疾病類型、膚色與影像品質如何分布;
- CNN 的訓練資料是否與 LLM 測試資料重疊;
- 靈敏度、特異度、精確率與 F1 是如何計算;
- LLM 是否使用影像輸入,多次執行時結果是否穩定;
- 是否已在獨立的外部資料集上完成重現。
公開這些資訊,比再增加一個更吸睛的標題更有用。
醫療 AI 該如何比較
若要重現或擴充這項評測,我會依下列順序進行。
1. 固定任務與標籤空間
先釐清輸入是單張病變照片、臨床照片,還是 dermoscopy 影像。
模型可以輸出自然語言,但最終仍須映射至同一套類別。否則比較的便是表達方式,而非分類能力。
2. 固定資料與提示條件
所有模型應使用同一份測試集。
LLM 端還須記錄模型版本、temperature、system prompt、取樣次數,以及圖片是否經過壓縮或裁切。GPT-4o 與 Claude 3.5 都可能隨產品版本而變動;若未記錄這些條件,結果便很難重現。
3. 不只看 accuracy
醫療分類還應報告:
- 靈敏度;
- 特異度;
- 精確率、召回率與 F1;
- 校準誤差與預測信心;
- 不同疾病類型、膚色與影像設備上的分組表現。
如果任務涉及初步篩檢,便須結合漏診與誤報成本設定閾值。指標不能脫離實際用途單獨解讀。
4. 獨立計算系統成本
記錄單次推理延遲、GPU 或 API 成本、吞吐量、模型大小與部署相依性。
專用 CNN 與閉源 LLM 的成本結構不同。只比較一次 API 呼叫價格,會忽略本機推理、維護與故障回退成本。
5. 檢查解釋與失敗樣本
人工抽查高信心且正確、高信心但錯誤,以及低信心的樣本。
重點檢查模型是否依賴偽相關線索,例如膠體邊框、拍攝設備、影像標記或背景色。專用模型只輸出固定類別,形式上看起來更簡潔,但簡潔本身並不是證據。
編輯觀點
這項結果的重要性不在「兒童逆襲」的敘事,而在於它把模型選擇拉回任務本身。醫療影像分類通常具有固定輸入、固定標籤,以及可量化的錯誤成本。專用 CNN 能直接圍繞這些限制進行訓練;通用 LLM 涵蓋的任務更廣,表達空間與推理開销也可能更大。
我的判斷是,醫療 AI 會更多採用「通用模型搭配專用模型」的組合。通用模型負責整理病史、起草報告與互動,專用視覺模型則執行穩定、可量化的分類。讓不同模型各司其職,比要求單一模型包辦所有流程更實際。
這與過去以示範型 benchmark 為主的爭論不同。這次至少將 CNN 與前沿 LLM 放進同一項分類任務,而不是比較幾段更流暢的回答。不過,原始素材仍缺少測試集規模、靈敏度、特異度、完整協議與外部臨床驗證。這是一項值得複核的結果,尚不是臨床結論;後續應觀察能否以獨立資料重現,而非只聚焦「10 歲開發者」這個標籤。