NESformer는 약 1GB 크기의 Qwen 가중치를 NES 환경에 연결한다. 이 글에서는 화면 관찰, 상태 압축, 행동 출력 구조를 분석하고, 직접 재현하기 전에 기록해야 할 변수들을 살펴본다.
먼저 결론을 말하면, NESformer는 완전한 게임 AI가 아니다.
NESformer는 Qwen을 ‘닌텐도 게임을 하게 만든다’는 또 하나의 데모로 쉽게 포장될 수 있다.
정확히 말하면 다음 세 가지 중 하나를 수행한다. NES 화면을 관찰 대상으로 삼고, 관찰 결과에 따라 게임 행동을 선택한 다음, 환경이 다음 프레임을 반환한다.
이는 ‘픽셀을 생성하는 것’과는 다르고, ‘화면을 이해하는 것’과도 다르다.
- 픽셀 생성: 모델이 이미지를 출력하며, 픽셀이 게임의 의미를 담는지는 중요하지 않다.
- 화면 이해: 모델이 캐릭터, 적, 아이템, 위치를 인식한다.
- 실시간 제어: 모델이 매 상호작용 단계에서 제때 행동을 제시해야 하며, 사후에 화면을 설명하는 것으로는 부족하다.
NESformer의 가치는 세 번째 항목에 있다. 이 프로젝트는 언어 모델이 추론 결과를 키보드나 게임패드 입력으로 전환하는 과정을 실행 가능한 형태로 보여준다.
다만 ‘NES 환경에서 플레이 가능한 상호작용을 할 수 있다’는 사실이 ‘닌텐도 게임을 깬다’는 뜻은 아니다. 안정적인 전략, 장기 계획, 신뢰할 만한 기억 능력을 갖췄는지는 데모나 프로젝트 요약만으로 판단할 수 없다.
프로젝트는 Qwen을 NES에 어떻게 연결하는가
코드는 GitHub에 공개되어 있다.
https://github.com/dbreunig/nesformer
프로젝트 설명에서는 Qwen을 Atari/NES 스타일 게임 환경과 결합해, 행동으로 관찰 기반 언어 모델이 환경과 어떻게 상호작용하는지 살펴본다. 핵심 구조는 다음과 같이 정리할 수 있다.
NES frame → 视觉观察 → 状态压缩 → Qwen 动作决策 → NES action → next frame
Qwen이 게임 메모리에 직접 접근하는 방식도 아니고, 전체 프레임 시퀀스를 prompt에 통째로 넣는 방식도 아니다.
모델은 먼저 게임 화면을 마주한다. 환경은 관찰 내용을 모델이 처리할 수 있는 표현으로 압축한다. 이후 Qwen은 사용 가능한 행동 집합에서 하나의 행동을 선택한다. NES 환경이 해당 행동을 실행하고 다음 프레임을 반환하면 다음 단계로 넘어간다.
이런 Agent의 어려움은 인터페이스 사이에 숨어 있다.
- 화면 인코딩은 공간적 관계를 보존해야 한다.
- 상태 압축은 다음 프레임의 의사결정에 필요한 정보를 잃어서는 안 된다.
- 출력은 반드시 합법적인 행동 집합 안에 있어야 한다.
- 추론 지연은 게임의 동작 속도를 따라잡아야 한다.
행동 형식에 제약이 없다면 모델이 화면을 잘 ‘이해’해도 게임이 실행할 수 없는 내용을 출력할 수 있다. 관찰 압축 과정에서 설명 텍스트만 남기고 좌표나 상대 위치를 버리면 키 입력 선택이 빠르게 부정확해진다.
1GB 가중치는 실제로 무엇을 의미하는가
프로젝트는 약 1GB 크기의 Qwen 모델 가중치를 사용한다. 이 수치는 직관적이지만 모델 파일이 얼마나 큰지만 알려줄 뿐이다.
직접적인 파라미터 수나 실행 중 GPU 메모리 사용량을 의미하지는 않는다.
최소한 다음 세 가지 수치를 구분해야 한다.
| 지표 | 의미 | 주요 영향 요소 |
|---|---|---|
| 가중치 파일 크기 | 저장소나 다운로드를 통해 얻는 모델 파일의 용량 | 파라미터 수, 정밀도, 양자화 방식 |
| 파라미터 수 | 모델에 포함된 학습 가능한 가중치의 수 | 모델 아키텍처와 규모 |
| 실행 메모리 | 추론 과정에서 실제로 사용되는 메모리 | 프레임워크, KV cache, 컨텍스트 길이, batch, 장치 |
어떤 Qwen 가중치가 낮은 비트 양자화를 적용했다면 같은 규모의 FP16 버전보다 파일 크기가明显히 작을 수 있다. 하지만 저비트 파일이 작다고 모든 실행 비용이 같은 비율로 줄어드는 것은 아니다. Transformer 추론에서는 중간 activation, attention 키와 값의 cache, 런타임 작업 공간도 유지해야 한다. 컨텍스트가 길어지면 KV cache도 증가한다.
따라서 ‘약 1GB’은 이 접근법을 쉽게 소개할 수 있는 진입 지표일 뿐, 완전한 성능 결론이 아니다.
실제로 측정할 항목은 네 가지다.
- 행동 한 번에 걸리는 시간은 몇 밀리초인가?
- 한 게임 세션에서 누적되는 컨텍스트는 얼마나 되는가?
- 상태 압축 이후에도 얼마나 많은 정보가 남는가?
- 같은 가중치를 서로 다른 추론 프레임워크에서 실행했을 때 메모리와 속도는 얼마나 다른가?
이 방식은 저비용으로 재현하기 쉽다. 가중치가 크지 않고, 환경이 가볍고, 상호작용 루프가 짧으며, 각 단계를 관찰하거나 중단하기 쉽기 때문이다. 완전한 world model이나 대규모 게임 학습보다 변수가 적어 Agent 디버깅 실험에도 적합하다.
그만큼 제약도 명확하다.
작은 모델은 멀리 있는 목표, 잠깐 나타나는 적, 정확한 위치를 놓치기 쉽다. 언어 모델의 출력은 prompt, 샘플링 파라미터, 행동 파싱 규칙의 영향도 받는다. 시스템에 요약된 이력이 없으면 ‘보이는 기억은 못 한다’고 할 수 있고, 요약이 지나치게 압축되면 ‘많은 것은 기억하지만 잘 보지는 못한다’고 할 수 있다.
키를 누를 수 있는지만 보지 말자: 상호작용이 핵심이다
화면 관찰, 상태 압축, 행동 선택, 목표 기억은 각각 다른 시간 비용을 요구한다.
관찰 단계의 문제는 해상도만으로 설명되지 않는다. NES 화면은 일반적으로 작지만, 작은 픽셀에도 방향, 거리, 플랫폼 높이, 적의 이동 방향 같은 정보가 담긴다. 다운샘플링, 크롭, 색상 인코딩 모두 이런 신호를 바꿀 수 있다.
압축 단계는 장기 상호작용을 계속할 수 있는지 결정한다. 전체 프레임 시퀀스를 보관하면 창이 점점 길어진다. 최근 몇 프레임만 보관하면 목표를 잊기 쉽다. 비교적 실용적인 방식은 최근 관찰을 일부 유지하면서 작업 상태, 이벤트 기록, 핵심 위치 요약까지 더하는 것이다.
행동 단계에서는 지연을 처리해야 한다. 매 단계마다 원격 API를 호출하면 네트워크 왕복 시간만으로 실시간성이 무너질 수 있다. 로컬 추론, 배치 처리, 비동기 환경이 더 적합하다.
기억 단계에서는 더 깊은 문제가 드러난다. 모델이 현재 화면을 기반으로 추론하는지, 작업 이력을 바탕으로 행동을 선택하는지를 구분해야 한다. 수도관과 아이템을 인식하는 모델이 ‘먼저 아이템을 얻을까, 총알을 피할까’를 반드시 판단하는 것은 아니다. 여기에는 상태 추적과 전략이 모두 필요하다.
일반적인 강화학습 모델과는 근본적으로 다르다.
강화학습은 보통 상태를 행동으로 매핑하고 보상 신호를 통해 전략을 갱신한다. LLM Agent는 기존 모델 능력에 관찰, 기억, 도구 호출, 행동 실행을 더하는 방식이다. Qwen이 NES에 연결되었다고 해서 게임 전용 전략이 자동으로 생기는 것은 아니다.
따라서 NESformer는 다음 질문에 답하는 데 더 적합하다. 기존 언어 모델의 가중치를 변경하지 않고 Agent scaffolding만으로 폐쇄형 상호작용을 구현할 수 있는가?
안정적으로 게임을 깎는지, 장기 계획을 학습했는지는 ‘모델이 키를 누른다’는 사실만으로 알 수 없다.
코드는 공개됐지만 재현하기 전에 환경을 확인하자
저장소 주소는 다음과 같다.
https://github.com/dbreunig/nesformer
제보된 원자료에 따르면 이 프로젝트는 Hacker News 메인 페이지에 올랐고 61점, 55개의 댓글을 받았다.
이 수치가 커뮤니티의 Discussion 의향을 보여줄 수는 있지만, 프로젝트가 독립적으로 검증됐다는 뜻은 아니다. 저장소 공개는 재현에 필요한 조건이지 충분한 조건은 아니다.
실행하기 전에 다음 변수들을 고정해야 한다.
- 모델 버전: Qwen이라고만 기록하지 말고 구체적인 저장소, commit, 가중치 파일을 남긴다.
- 양자화 방식: FP16, BF16, INT8 등을 섞어 쓰지 않는다.
- 추론 프레임워크: 프레임워크에 따라 GPU 메모리 사용량과 처리량이 크게 달라질 수 있다.
- 의존성 버전: 게임 환경, Python, CUDA 버전을 고정한다.
- NES 환경 설정: ROM, 행동 매핑, 프레임 스킵, 생명 주기가 결과를 바꿀 수 있다.
benchmark를 수행한다면 전체 시간을 다음처럼 나누어 측정하는 것이 좋다.
总延迟 = 画面预处理 + 状态压缩 + 模型推理 + 动作解析 + 环境执行
이와 함께 게임 세션당 step 수, 유효 게임 프레임 수, 잘못된 행동 발생 횟수, 최종 점수를 기록해야 한다. 단순히 ‘모델이 몇 분 동안 플레이했다’만 보여주면 개선이 모델, 압축기, 환경 차이 중 어디에서 왔는지 판단하기 어렵다.
원본 소스:
- GitHub: https://github.com/dbreunig/nesformer
- Hacker News 프로젝트 Discussion: https://news.ycombinator.com/item?id=44868209
편집자 관점
NESformer에서 중요한 것은 게임 성적이 아니라, LLM Agent의 상호작용 구조를 관찰하고 디버깅할 수 있는 작은 sandbox로 만든 점이다. 텍스트 Agent는 보통 답변 생성에서 멈추지만, NESformer는 그 응답을 행동으로 바꾸고 환경의 피드백을 받아야 한다. 화면, 상태, 행동, 지연이 모두 검사 가능한 변수가 되므로 채팅 데모보다 실제 Agent 개발에 가깝다.
다만 과거의 게임 AI와는 다르다. 작은 모델이 안정적인 전략을 학습했다는 증거도 없고, 신뢰할 만한 장기 계획 능력을 갖췄다는 근거도 없다. 프로젝트 요약만으로 확인할 수 없다. 이 실험의 실질적인 가치는 게임 클리어율이 아니라 평가, 상태 압축, Agent 제어 인터페이스에 있을 가능성이 크다. 앞으로 볼 만한 질문도 ‘게임을 잘하는가’가 아니라, 동일한 관찰 및 행동 인터페이스를 브라우저, 데스크톱 앱, 로봇 작업으로 이전할 수 있는가이다.