실전

CNN과 GPT-4o·Claude 3.5, 의료 이미지 분류 성능 비교

Lynch Lab의 테스트에서 10세 연구자가 개발한 CNN이 피부 병변 분류에서 GPT-4o와 Claude 3.5를 앞섰다. 다만 이 결과만으로 일반적인 우열을 판단할 수는 없으며, 데이터 구성과 평가 방법에 대한 추가 검증이 필요하다.

글자 크기

10세 연구자가 개발한 CNN이 Lynch Lab의 피부 병변 이미지 분류 테스트에서 GPT-4o와 Claude 3.5를 앞섰다. 이는 의료 AI에서 모델 규모보다 데이터, 전용 아키텍처, 평가 기준이 중요할 수 있음을 보여준다.

원본 연구: Lynch Lab — LLM Skin Cancer.

보고서 결과가 말하는 것

Lynch Lab은 세 종류의 모델을 비교했다. 연구자가 개발한 CNN, GPT-4o, Claude 3.5가 그 대상이며, 과제는 피부 병변 이미지 분류였다.

연구 페이지에 따르면 CNN은 이번 테스트에서 평가된 최첨단 LLM보다 높은 성능을 보였다.

이 결과는 두 가지 수준으로 나누어 해석해야 한다.

첫째, 보고서에 따르면 CNN은 해당 과제와 테스트 환경에서 더 나은 분류 결과를 얻었다.

둘째, 이것으로 CNN이 LLM보다 전반적으로 우수하다고 증명할 수는 없다. 작은 모델이 큰 모델을 대체했다는 결론도 도출할 수 없다. 원본 페이지에는 전체 테스트 세트 규모, 민감도, 특이도, 평가 프로토콜이 모두 공개되지 않았고, 광범위한 결론을 뒷받침할 임상 데이터도 충분하지 않았다.

따라서 ‘CNN이 최첨단 LLM을 이겼다’는 결론은 이번 보고서의 과제와 환경 안에서만 성립한다.

이번 비교에서는 무엇을 측정한가

이 연구는 ChatGPT에게 병변 사진을 설명한 뒤 ‘피부암처럼 보이는지’를 글로 판단하게 한 실험이 아니다.

CNN과 최첨단 LLM을 대상으로 피부 병변 분류 성능을 평가했다. 두 모델이 같은 종류의 이미지를 처리하고, 그 결과를 비교 가능한 분류 결과로 변환했다.

이러한 비교에는 최소한 세 가지 장점이 있다.

  • 과제가 통일되어 CNN의 분류 지표와 LLM의 문자 응답을 엇갈려 비교할 필요가 없어졌다.
  • 모델을 직접 대조해 아키텍처와 학습 목표의 차이를 관찰할 수 있다.
  • 개별 데모 사례에만 의존하지 않고 계산 가능한 결과를 얻을 수 있다.

다만 이 방식이 완전한 임상 검증을 대체하지는 않는다. 의료 AI에서는 accuracy만 볼 수 없다.

악성 병변을 놓치는 오류와 양성 병변을 잘못 판정하는 오류는 비용이 다르다. 연구나 실제 적용에 들어가기 전에는 민감도, 특이도, 신뢰도 보정, 외부 데이터 세트 성능, 의사들의 실제 업무 흐름에서의 성능을 함께 확인해야 한다.

이 결과는 새로운 질문을 던지기 위한 자료로는 적절하지만, 임상 의사결정에 바로 적용할 수는 없다.

CNN이 이런 과제에 더 적합할 수 있는 이유

GPT-4o와 Claude 3.5는 범용 멀티모달 모델이지만, 범용이라는 특성이 모든 수직형 과제에 자동으로 적용되지는 않는다.

전용 CNN의 학습 데이터, 레이블 공간, 손실 함수는 모두 피부 병변 인식을 중심으로 구성된다. 시각적 특징과 분류 목표를 직접 학습하므로, 먼저 자연어 문장을 생성할 필요가 없다.

범용 LLM의 목표는 더 넓다. 이미지를 이해하고, 지시를 따르고, 텍스트를 생성하는 것이다. 과제가 정해질수록 이러한 범용성은 추가적인 부담이 될 수 있다.

비교 항목전용 CNN범용 멀티모달 LLM
과제 범위고정된 레이블 집합과 명확한 목표지시를 통해 다양한 과제 처리
학습 신호목표 레이블을 중심으로 직접 최적화시각 이해와 언어 생성 등 목표가 분산됨
출력 공간클래스 또는 확률 분포자연어와 개방형 응답
추론 비용대체로 더 가벼우며 로컬 배포 가능컴퓨팅 자원과 API 서비스에 더 의존
해석 가능성saliency map과 중간층 분석을 함께 활용 가능문자화된 근거가 인과적 증거를 뜻하지는 않음

마지막 항목은 특히 주의해야 한다. LLM이 ‘흑색종일 가능성이 있다’라고 답했다고 해서 신뢰할 수 있는、医学적 판단 근거를 제시했다는 뜻은 아니다.

의료 환경에서는 지연 시간, 서비스 비용, 가용성도 계산해야 한다. API 모델은 네트워크와 외부 서비스에 의존한다. 전용 CNN은 더 작고 빠를 수 있으며, 진료기관 내부에 배포할 수도 있다. 빈도가 높은 초기 검진 과제에서는 순위표의 미세한 성능 차이보다 시스템 비용이 더 중요한 경우가 있다.

따라서 ‘모델이 더 크다’는 사실이 ‘모든 의료 과제에서 더 강하다’는 의미로 이어지지는 않는다.

10세 개발자가 넘어야 했던 실제 기준

진입 장벽이 낮다는 것이 기준이 없다는 뜻은 아니다.

CNN을 비교 실험에 참여시키려면 최소한 데이터 정리와 주석, 모델 학습, 학습·테스트 세트 분할, 최첨단 LLM 호출, 결과 파싱, 공통 평가 기준 적용을 수행해야 한다.

연구 바로가기: Lynch Lab — LLM Skin Cancer.

이 연구는 Hacker News에서 228점과 112개의 댓글을 얻었다. 토론 페이지: HN Comments.

이 수치는 원본 자료에서 인용한 것이다. 댓글은 연구 과정, 데이터 출처, 평가 설계, 결론의 적용 범위에 집중했다. 이 토론의 가치는 나이 차이에 대한 단순한 구경에 머무는 것이 아니라, 더 엄격한 방법론적 검토를 가능하게했다는 데 있다.

후속으로 보완해야 할 정보는 다음과 같다.

  • 테스트 세트에 이미지가 몇 장 포함됐으며, 어느 기관에서 수집됐고, 중복이나 데이터 leakage가 존재하는지 여부
  • 질병 유형, 피부색, 이미지 품질의 분포
  • CNN 학습 데이터와 LLM 테스트 데이터가 겹치는지 여부
  • 민감도, 특이도, 정밀도, F1을 계산한 방법
  • LLM이 이미지 입력을 사용했는지, 여러 번 실행했을 때 결과가 안정적인지 여부
  • 독립적인 외부 데이터 세트에서 재현이 이루어졌는지 여부

더 큰 제목을 추가하는 것보다 이러한 정보를 공개하는 편이 유용하다.

의료 AI는 어떻게 비교해야 할까

이 평가를 재현하거나 확장한다면 다음 순서를 따르겠다.

1. 과제와 레이블 공간 고정

먼저 입력이 단일 병변 사진인지, 임상 사진인지, 아니면 dermoscopy 이미지인지 명확히 한다.

모델이 자연어로 답하더라도 최종 결과는 같은 클래스 집합에 대응시켜야 한다. 그렇지 않으면 표현 방식이 아니라 분류 능력을 비교하게 된다.

2. 데이터와 프롬프트 조건 고정

모든 모델에는 동일한 테스트 세트를 사용한다.

LLM 쪽에서는 모델 버전, temperature, system prompt, 샘플링 횟수, 이미지를 압축하거나 자했는지까지 기록해야 한다. GPT-4o와 Claude 3.5 모두 제품 버전이 바뀔 수 있다. 이 조건을 기록하지 않으면 결과를 재현하기 어렵다.

3. accuracy만 보지 않기

의료 분류에서는 다음 지표도 함께 보고해야 한다.

  • 민감도
  • 특이도
  • 정밀도, 재현율, F1
  • calibration error와 예측 신뢰도
  • 질병 유형, 피부색, 이미징 장비별 subgroup performance

과제가 초기 검진에 쓰인다면 누락과 오진 비용을 반영해 임계값을 정해야 한다. 지표는 실제 활용 맥락 없이 단독으로 해석할 수 없다.

4. 시스템 비용을 별도로 계산

단일 추론 지연 시간, GPU 또는 API 비용, 처리량, 모델 크기, 배포 의존성을 기록한다.

전용 CNN과 폐쇄형 LLM은 비용 구조가 다르다. API 호출 가격만 비교하면 로컬 추론, 유지 관리, 장애 발생 시 대체 경로 운영 비용을 놓치게 된다.

5. 설명과 실패 사례 점검

예측 점수가 높은 정답·오답 사례와 낮은 신뢰도 사례를 직접 샘플링해 검토한다.

특히 모델이 콜라scope의 테두리, 촬영 장비, 이미지 표식, 배경색과 같은 가짜 연관성 단서에 의존하는지 확인해야 한다. 전용 모델은 고정된 클래스를 출력해 더 간결해 보이지만, 간결함 자체가 증거는 아니다.

편집 관점

이번 결과의 중요성은 ‘어린이 개발자의 역전’이라는 서사가 아니라, 모델 선택의 초점을 다시 과제 자체로 되돌렸다는 데 있다. 의료 이미지 분류는 일반적으로 고정된 입력, 고정된 레이블, 정량화 가능한 오류 비용을 갖는다. 전용 CNN은 이러한 제약을 중심으로 직접 학습할 수 있지만, 범용 LLM은 더 넓은 과제를 다루며 표현 공간과 추론 오버헤드가 커질 수도 있다.

의료 AI에는 앞으로 ‘범용 모델과 전용 모델의 조합’이 더 많이 사용될 것으로 본다. 범용 모델은 병력 정리, 보고서 초안 작성, 대화에 활용하고, 전용 시각 모델은 안정적이고 측정 가능한 분류를 담당하는 방식이다. 하나의 모델로 모든 과정을 맡기기보다 각각의 강점을 활용하는 편이 현실적이다.

이번 연구는 과거의 데모형 benchmark 논쟁과는 다르다. 최소한 CNN과 최첨단 LLM을 같은 분류 과제에 넣고, 더 자연스러운 몇 문장끼리 비교한 것이 아니기 때문이다. 다만 원본 자료에는 테스트 세트 규모, 민감도, 특이도, 전체 프로토콜, 외부 임상 검증이 부족하다. 따라서 이는 검증할 가치가 있는 결과이지 아직 임상 결론은 아니다. ‘10세 개발자’라는 표기만 평균하기보다, 독립적인 데이터에서 재현되는지를 확인해야 한다.

출처: https://lynchlab.net/llm-skin-cancer