도구

LDraw Mecha 실전: AI Agent가 LEGO 기구를 역추적하다

LDraw Mecha는 LDraw 소스와 설명, 시퀀스 정보를 함께 분석해 LEGO 모델에 내장된 기구를 추론하고 실행 가능한 애니메이션을 생성한다. 이 글은 구조 분석 방식, 저장소 실습 방법, 능력의 한계를 살펴본다.

글자 크기

LDraw Mecha는 LEGO 모델을 생성하는 데 그치지 않는다. LDraw 소스를 읽고 모델 설명과 시퀀스 정보를 결합해 기구 구조를 역으로 식별한 뒤, 기계적 관계를 실행 가능한 애니메이션으로 변환한다. 아래에서는 그 원리, 실습 진입점, 능력의 경계를 살펴본다.

LDraw Mecha 실전: AI Agent가 LEGO 기구를 역추적하다

모델 조립에서 기구 이해까지

LDraw Mecha는 약 한 달 전에 공개된 LDraw Nova를 계승했다.

LDraw Nova는 ‘LEGO CAD 모델 생성’을 목표로 했다. AI가 LDraw 소스를 출력하면 모델링 소프트웨어가 부품들을 조립하는 방식이다. LDraw Mecha는 다른 문제를 풀기 시작한다. 입력이 한 문장이 아니라 이미 만들어진 LEGO 모델이라면, Agent가 그 안에 어떤 기구가 들어 있는지 판단할 수 있을까?

정적인 모델에 템플릿을 적용하는 작업은 아니다.

하나의 LEGO 기구에는 기어 세트, 링크, 축, 힌지, 전달 순서가 포함될 수 있다. 파일 자체에는 부품 종류, 위치, 연결 관계만 기록되어 있다. ‘파란 축을 먼저 돌리고, 빨간 기어를 움직인 다음, 리프트를 올려라’처럼 직접 알려주지는 않는다.

LDraw Mecha는 agentic LLM을 활용해 LEGO 모델의 LDraw 소스 파일을 분석하고, 모델에 포함된 기구를 역으로 추론한다. 시스템은 모델 설명과 시퀀스 정보도 읽어, 기구를 식별한 뒤 LEGO 모델용 애니메이션을 생성한다.

이 과정은 CAD 분석에 더 가깝다.

  • 입력은 모델 소스, 설명, 시퀀스 정보다.
  • Agent는 코드에 암묵적으로 담긴 기계적 의미를 보완해야 한다.
  • 출력은效果图가 아니라 실행 가능한 LEGO 애니메이션이다.

프로젝트 제작자는 Hacker News 댓글에서 나온 요청을 바탕으로 실험 범위를 ‘AI가 LEGO 모델 생성’에서 ‘AI가 LEGO 모델에 애니메이션 부여’로 넓혔다. 요구 방향도 달라졌다. 사용자는 AI로 모델을 조립하게 하는 데 그치지 않고, 이미 존재하는 모델을 해석하고 구동하기를 원했다.

Agent가 LEGO 소스를 이해하는 방식

LDraw는 LEGO 모델이 사용하는 교환 형식이다. 하나의 LDraw 파일은 ‘여기에 2x4 블록을 놓는다’처럼 단일 문장으로 표현되지 않는다. 부품 참조, 색상, 위치, 자세를 담은 구조화된 설명이다.大型 모델은 보통 여러 파일로 나뉘며, 서브모델 참조를 통해 조립된다.

따라서 Agent에는 세 가지 구체적인 과제가 주어진다.

첫째, 계층 관계를 파싱한다.

Agent는 모든 부품을 펼쳐 놓은 뒤 하나씩 용도를 추측할 수 없다. 먼저 메인 모델, 부품 라이브러리, 서브모델 사이의 참조 관계를 이해해야 한다. 어떤 부품이 베이스플레이트에 고정되어 있고, 어떤 부품들이 하나의 기어 세트를 구성하며, 어떤 서브모델은 구조 재사용을 위해 존재하는지 파악해야 한다.

둘째, 기하 정보와 연결 관계에서 기구 가설을 세운다.

서로 인접한 부품이 반드시 기계적으로 연결되어 있는 것은 아니다. 그러나 접하거나 같은 축에 놓였거나 같은 평면에 있는 부품은 기어 맞물림, 축 전달, 힌지 연결을 나타낼 수 있다. Agent는 LDraw 좌표, 부품 종류, 색상, 설명을 함께 활용해 어떤 관계가 충분한 근거를 갖는지 판단해야 한다.

셋째, 기구 가설을 동작 시퀀스로 바꾼다.

‘기어 세트가 있다’고 식별하는 것만으로는 부족하다. Agent는 구동 부품, 회전 방향, 전달비, 운동 순서를 정한 뒤 애니메이션을 출력해야 한다. 여기서 시퀀스 정보는 타임라인 역할을 한다. 어떤 부품이 정지 상태를 유지하고, 어떤 부품이 동시에 회전하며, 한 동작이 언제 다음 동작을 유발하는지를 정의한다.

따라서 ‘역추적’은 삼차원 메시를 처음부터 훑는 과정이 아니다. LDraw는 이미 상당히 정확한 CAD 소스를 제공한다. Agent가 실제로 역추적하는 대상은 기계적 의도다. 연결 관계를 구동 관계로 바꾸고, 부품 집합을 기구로 바꾸며, 구조 순서를 동작 순서로 전환하는 작업이다.

이것이 LDraw Mecha에서 가장 가치 있는 부분이다. 이 프로젝트는 LLM이 부품 코드를 작성할 수 있는지를 시험하지 않는다. 구조화된 엔지니어링 입력에 대해 다단계 추론을 수행하고, 실행 가능한 결과를 전달할 수 있는지를 검증한다.

v0.5.0 코드 저장소 실습 진입점

프로젝트 코드와 버전 설명은 GitHub의 anteloc/ldraw-mecha v0.5.0에 공개되어 있다. 메인 브랜치를 먼저 추적하지 않아도 해당 버전의 디렉터리 구조, 실행 안내, 예제 모델을 직접 확인할 수 있다.

저장소 진입점은 세 가지 검사에 적합하다.

  1. Agent가 LDraw 파일, 설명, 시퀀스 정보 등 어떤 입력을 받는지 확인한다.
  2. 기구 식별 결과가 어떤 형식으로 표현되고, 애니메이션이 최종적으로 어떤 파일로 출력되는지 확인한다.
  3. 저장소에 포함된 예제로 출력을 테스트해, 데모 영상만 보고 능력을 판단하는 일을 피한다.

한 가지 경계는 분명히 해야 한다. GitHub 페이지에 공개된 프로젝트 구현이 모든 외부 모델, API 설정, 로컬 CAD 환경이 곧바로 작동한다는 뜻은 아니다.

저장소에 외부 서비스에 의존하지 않는 완전한 실행 스크립트가 없다면, 실습할 때 README에 안내된 대로 필요한 agentic LLM, 자격 증명, LDraw 툴체인을 설정해야 한다. v0.5.0 태그를 고정하는 것도 중요하다. 그렇지 않으면 Agent 프롬프트, 도구 호출, 출력 형식이 바뀐 뒤 테스트 결과에 버전 차이까지 섞인다.

다음 세 가지 데이터를 저장하는 것이 좋다.

  • 원본 LDraw 모델
  • Agent가 식별한 기구 설명
  • 최종 애니메이션 파일

그런 다음 구동 부품, 회전 방향, 기어 맞물림 관계, 동작 순서를 직접 확인한다. 검사 과정이 하나라도 빠지면 데모가 매끄러워 보여도 모델이 실제로 기구를 ‘이해했다’고 단정할 수 없다.

Show HN 댓글이 만든 요구 방향 전환

LDraw Mecha의 방향 조정은 방대한 요구 문서를 먼저 작성한 결과가 아니라 Hacker News 댓글에서 비롯됐다.

커뮤니티가 던진 질문은 직관적이었다. AI가 LEGO 모델을 생성할 수 있다면, 이미 존재하는 복잡한 모델에 애니메이션을 부여할 수 없는 이유는 무엇인가? 이는 입력이 ‘처음부터 설계’에서 ‘현재 상태 이해’로 바뀌고, 출력이 ‘구조 생성’에서 ‘운동 표현’으로 바뀌는 것과 같다.

이 전환으로 프로젝트의 난이도도 달라졌다.

모델을 생성할 때 Agent는 익숙한 부품과 구조를 직접 선택할 수 있다. 기존 모델에 애니메이션을 부여하는 경우에는 원래 설계를 지켜야 한다. 축 하나를 누락하면 기어 전달이 끊기고, 회전 방향을 잘못 판단하면 모델이 서로 겹칠 수 있으며, 서브모델 참조를 무시하면 동작 순서가 뒤섞인다.

그래서 제작자는 Hacker News 댓글에 나타난 요구를 바탕으로 기존 실험을 AI 기반 LEGO 모델 애니메이션화까지 확장했다. Show HN은 단순한 공개 채널이 아니라 요구사항 선별 장치 역할을 했다. 사용자는 구체적인 작업으로 개발자에게 모델 생성이 끝이 아니며, 구조를 운동으로 전환하는 작업이 계속 진행할 가치가 있음을 알려줬다.

원래 프로젝트 논의는 LDraw Mecha GitHub 저장소와 연결된 Show HN 페이지에서 확인할 수 있다. 이 글에서 다룬 기능과 버전 정보는 LDraw Mecha v0.5.0 프로젝트 페이지 및 해당 프로젝트의 공개 요약에서得来했다.

편집자 관점

LDraw Mecha의 가치는 LEGO 소스 한 벌을 생성하는 데서 끝나지 않는다. 정적인 CAD 구조를 기구 의미와 동작으로 변환한다. 모델 생성에서는 Agent가 자기 일관된 구조를 작성하면 되지만, 기구 역추적에서는 기존 설계를 설명하고 구동 체인을 찾아야 한다. 이는 엔지니어링 소프트웨어의 ‘설계 의도 복원’에 더 가깝다.

텍스트 기반 CAD 생성과 로봇 동작 생성이 흔히 사용되는 방식과 한 지점 다르다. 중간 표현이 자연어 프롬프트가 아니라 좌표, 부품 참조, 연결 제약 조건이 포함된 LEGO 소스 파일이라는 점이다. 검증 가능한 정보가 더 명확하고 오류도 쉽게 드러난다.

‘구조화된 입력—의미 추론—실행 가능한 출력’으로 이어지는 Agent 경로에 더 기대가 된다. 이 방식은 embodied AI에도 시사점을 준다. 로봇은 조립도, 관절 설정, 동작 로그를 먼저 읽은 뒤 행동 계획을 세울 수 있다. 하지만 현재 ‘애니메이션 생성’을 ‘실제 물리 이해’와 동일시할 수는 없다. 기어 접촉, 마찰, 충돌이 엄밀하게 시뮬레이션되지 않을 수 있고, 시각적으로 자연스러운 운동도 기구 제약을 위반할 수 있다. 앞으로는 예제 수보다 구동 관계, 전달 방향, 오류 진단에 주목해야 한다.

출처: https://github.com/anteloc/ldraw-mecha/tree/v0.5.0