실전

InnovationEval이 드러낸 LLM의 약점: 인간은 풀지만 AI는 못 푸는 알고리즘 문제

Epoch AI가 공개한 알고리즘 혁신 벤치마크에서 최첨단 모델들이 일제히 고전했다. LLM이 '새로운 알고리즘을 떠올리는 능력'에서 왜 구조적으로 뒤지는지 세 가지 엔지니어링 관점으로 분석한다.

글자 크기

Epoch AI가 최근 InnovationEval이라는 새 벤치마크를 공개했다. 기존 알고리즘 문제를 '풀어내는가'가 아니라 '새 알고리즘을 떠올릴 수 있는가'를 측정하는 평가다. 결과는 다소 차갑다. 최첨단 모델들이 이 벤치마크에서 줄줄이 떨어졌고, 인간 베이스라인에도 미치지 못한다.

Hacker News 원본 게시물은 46점을 기록하며 31개의 댓글이 달렸고, 프론트 페이지에 오를 정도의 화제성을 끌었다. 토론 과정에서 누군가 이렇게 지적했다. "모델들은 문제를 받자마자 무작위 탐색에 돌입하고, 지역 최적해에 갇혀 '다른 관점에서 생각하는 능력'이 아예 없다."

이 현상을 따로 떼어 살펴볼 가치가 있다.

InnovationEval이 실제로 측정하는 것

HumanEval, LiveCodeBench, MBPP 같은 일반 코딩 벤치마크는 '올바르게 작성할 수 있는가'를 평가한다. LeetCode 스타일로 문제가 주어지고, 테스트 케이스를 통과하면 성공이다. 모델들은 여기서 96%, 97% 같은 높은 점수를 쉽게 뽑아낸다.

하지만 이런 벤치마크에는 전제가 하나 있다. 알고리즘의 접근법이 이미 주어져 있다는 점이다. 모델이 해야 할 일은 머릿속에 있는 공식을 코드로 옮기는 것뿐이다.

InnovationEval은 다르게 접근한다. 이 벤치마크는 '알고리즘 혁신'을 측정한다. 즉, 처음부터 새로운 계산 전략을 떠올릴 수 있는지를 본다. 구체적인 문제 형식은 다음과 같다.

  • 문제 설명이 주어진다 (toy 예시 포함 가능)
  • 대량의 입력 데이터가 주어진다 (수천 개 테스트 케이스 포함 가능)
  • 각 입력에 대해 정답을 반환하는 블랙박스 함수를 제출해야 한다
  • 함수는 과거 샘플을 참조할 수 있지만, 정답 라벨은 제공되지 않는다
  • 문제의 진정한 요구 사항은 숨겨져 있다. 명시적인 '문제 진술'을 볼 수 없고, 데이터로부터 역추론해야 한다

이 설정이 결정적이다. 모델이 스스로 '문제가 무엇을 요구하는지' 깨달아야 한다. 알고리즘 경진대회에서 흔히 보이는 interactive problem과 비슷하다. 답안을 제출하면 정오 피드백을 받지만, 정답이나 풀이 과정은 제공되지 않는다.

구체적인 예시 두 개를 살펴보자.

예시 1 (Epoch가 공개한 것): 문제 이름은 'Counting Rearrangements'. 여러 연산 시퀀스가 주어지고, 특정 재배열의 총 개수를 예측해야 한다. 인간 참가자는 3시간 동안 370개 이상의 샘플을 돌려보며 O(n log n) 해법을 찾아냈고, 상위 인간 참가자는 대규모 테스트에서 100%를 달성했다.

예시 2: 일종의 packing 문제다. 물건을 용기에 넣되 특정 비용을 최소화하는 문제. 인간은 탐욕법 +启发式 검색을 떠올릴 수 있지만, 모델은 모든 조합을 무차별 탐색하는 쪽으로 기울었다.

Epoch AI는 알고리즘 경진대회 커뮤니티에서 사람들을 모아 테스트했다. 일반 사용자가 아니라 ICPC 출전자, 연구원, 경진대회 전문 참가자들이다. 이들의 베이스라인이 바로 모델이 넘어야 할 기준선이 된다.

벤치마크 결과: 어떤 모델이 고전했나

Epoch AI는 여러 최첨단 모델을 테스트했다. 논문에서 제시한 구체적인 수치는 대략 다음과 같다 (2025년 보고서 기준).

  • 인간 전문가: 60% (상위 참가자의 대규모 데이터셋 평균)
  • GPT 시리즈 (GPT-4, GPT-4o 포함): 약 2-8% 통과율 (난이도가 다른 4개 문제)
  • Claude 시리즈: GPT보다 약간 위지만 15%를 넘지 못함
  • Gemini 시리즈: 비슷한 수준

다시 말해, 현재 가장 강력한 LLM도 인간 수준의 절반에도 도달하지 못한다.

HN 댓글에서 누군가는 모델이 '무차별 탐색' 모드에 갇혀 있다고 지적했다. 문제가 명확한 진술을 갖고 있지 않기 때문에, 모델은 데이터로부터 목표를 역추론할 수밖에 없고, 결국 '가능한 조합을 전부 시도해 보는' 쪽으로 간다는 것이다. 이 방식은 단순한 toy 예시에서는 어떻게든 넘길 수 있지만, 실제 규모(수천 개 샘플)에서는 그대로 무너진다.

또 다른 패턴도 지적되었다. 모델이 자주 '지역 최적해'에 머문다. 그럴듯한 해법을 하나 찾으면 멈추고 더 이상 탐색하지 않는다. 여기서 다음 질문이 나온다. LLM이 이런 능력을 구조적으로 결여하고 있는 것인가, 아니면 단순히 엔지니어링 문제인가?

LLM이 이런 유형의 문제에서 약한 이유: 엔지니어링 관점 세 가지

1. 학습 데이터 안에 '알고리즘 혁신' 샘플이 거의 없다

사전 학습 데이터는 인터넷에서 수집된다. 인터넷에 무엇이 있는가? LeetCode 풀이, 논문, Stack Overflow 답변이 있다. 그런데 '인간이 알고리즘을 창작하는 과정의 기록'—예를 들어 화이트보드 앞에서 3시간 동안 모름에서 깨달음에 이르는 로그—는 공개된 것이 거의 없다.

설령 과정 로그가 있다 해도 대부분 결과 지향적이다. 결국 '우리는 XX 알고리즘을 발명했다'라고 결론만 적혀 있을 뿐, 실패와 분기와 되돌림 같은 실제 혁신 궤적은 포함되지 않는다. 모델이 학습하는 것은 '완성된 형태'의 알고리즘이지, '탄생 과정'이 아니다.

2. 추론 시 체계적인 탐색 전략이 부족하다

LLM의 추론은 autoregressive 방식이다. 토큰 하나씩 순차적으로 생성하며, 진정한 의미의 되돌림 메커니즘이 없다. Chain-of-Thought, Self-Consistency 같은 기법이 '한 발 더 생각하는' 능력은 끌어올렸지만, 본질적으로는 하나의 사슬을 따라가는 것에 불과하다.

대규모 탐색이 필요한 문제(innovational problem은 해법 공간이 지나치게 크다)를 만나면, Tree-of-Thought나 더 구조화된 검색(몬테카를로 트리 탐색, 진화 알고리즘)을 사용해야 한다. 이미 오래 실행되는 탐색 작업을 스스로 수행하는—스스로 코드를 수정하고, 결과를 검증하는—Agent화된 LLM을 만드는 시도가 진행 중이다. 하지만 최첨단 모델의 네이티브 추론 자체는 이 부분을 비워두고 있다.

참고로, 이런 '모델이 능동적으로 탐색하도록 만드는' 엔지니어링 접근은 LangGraph의 상태 머신 기반 Agent 설계와 같은 흐름이다. 엔지니어링 프레임워크로 모델 네이티브 추론의 부족한 부분을 보완하는 방식이다.

3. 벤치마크 자체가 모델에게 불리할 수 있다

여지를 남겨둘 필요가 있다. InnovationEval의 평가 형식에는 숨겨진 함정이 있다. 문제 설명 자체가 프롬프트의 일부라는 점이다. 문제가 '무엇을 묻는가'에 대해 인간은 직관적으로 파악하지만(우리가 의미 파악에 능숙하기 때문), 모델에게는 그 모호함이 그대로 오독으로 이어질 수 있다.

Epoch 본인들도 논문에서 일부 문제가 LLM에게 불리할 수 있다고 인정했다. 예를 들어 특정 수학 기호 직관이 필요한 문제는 학습 데이터가 희소한 영역이다. 이는 순수한 능력 문제가 아니라 벤치마크 설계의 문제다.

이 사건은 생각보다 더 중요하다

알고리즘创新能力은 AGI 논의에서 반복적으로 거론되는 핵심 능력이다. OpenAI의 o1/o3, Deep Research, Devin 같은 제품들은 본질적으로 'AI가 장거리 추론 + 자율 탐색을 할 수 있는가'에 베팅하고 있다. 만약 모델이 경진대회 난이도의 알고리즘 문제조차 풀지 못한다면, 'AI가 프로그래머를 대체한다'는 서사는 큰 폭의 할인이 필요하다.

하지만 너무 비관적일 필요도 없다. 첫째, 이런 문제들은 애초에 인간 경진대회를 위해 설계된 것이다. 최상위 참가자도 3시간이 걸린다. 모델은 30초 시간 예산으로 테스트되니, 그 자체로 공정하지 않다.

둘째, Agent화된 LLM(검색 + 도구 호출 + 장기 메모리 결합)은 이런 유형의 문제에서 여전히 엄청난 개선 여지를 갖고 있다. 이미 ARC-AGI 같은 벤치마크에서 그 가능성이 입증된 바 있다.

따라서 더 정확한 표현은 이렇다. 현재 네이티브 추론 방식의 LLM은 이런 유형의 문제에서 일단 안 된다. 다만 '영원히 안 되는가'는 별개의 문제다.

편집자의 생각

이 사건이 드러내는 것은 '능력의 천장'이 아니라 '평가의 천장'일 가능성이 크다. 지난 2년간 LLM 평가 인플레이션이 바로 그 점을 가려왔다. HumanEval, GSM8K, MMLU는 모두 95%+까지 밀려올랐다. ARC-AGI는 2023년에 모델이 30%만 풀었는데, 2025년에는 특정 모델이 50%까지 올라섰다. 최첨단 모델과 인간을 의미 있게 가를 수 있는 벤치마크가 점점 줄고 있고, 대부분의 리더보드는 몇 퍼센트 차이만 남았다.

InnovationEval은 그 빈자리를 채워준다. 이 벤치마크가 측정하는 것은 '인간이 여전히 쉽게 앞서가는 능력'이다.,这才是 진짜로 차이를 벌일 수 있는 문제다. HumanEval에서 96% 대 97%의 차이는 엔지니어링적으로 의미가 없다. 반면 60% 대 5%의 차이는 모델이 아직 이 트랙에 진입조차 못했음을 보여준다.

나의 예측은 이렇다. 3~5년 안에 모델이 InnovationEval 점수를 70%, 심지어 90%까지 끌어올릴 가능성이 높다. 그 경로는 검색 + 시행착오 + 도구 호출이지, 진정한 알고리즘 직관이 아니다. 데이터를 한 번 보고 구조를 짐작한다거나, 0 샘플 시행착오로 핵심 통찰을 잡아내는 능력은 단기간에 autoregressive 모델에서 등장하기 어렵다. 벤치마크 설계자가 점수에만 매달리면, '모델 점수 상승 ≠ 능력 대등'의 함정에 다시 빠질 것이다.

이번 라운드가 과거와 다른 지점은 바로 이것이다. 이번에 측정하는 것은 '제대로 하는가'가 아니라 '생각해 냈는가'다. 전자는 기억과 패턴 매칭으로 어떻게든 넘길 수 있지만, 후자는 양으로 쌓아서는 해결이 안 된다. 그 점이 InnovationEval이 LLM의 아프지 않은 곳을 정확히 찌른 이유다.


참고:

출처: https://epoch.ai/publications/innovationeval