프레임워크

33배 가속: 5B 로봇 모델이 Jetson Thor에서 실시간으로 돌아간다

General Instinct가 오픈소스 InstinctFlash를 공개했다. 런타임 최적화와 distilled few-step diffusion scheduler를 결합해 LingBot-VA의 end-to-end 추론 속도를 33.78배 끌어올렸으며, 2/4 step 구성에서도 90.5%의 task success rate를 유지한다.

글자 크기

숫자부터 본다: 33.78배는 어떻게 나왔나

먼저 숫자를 식탁에 펼쳐보자. Jetson Thor에서 LingBot-VA를 돌렸을 때, 런타임 최적화만으로 1.2x–7.9x 가속을 얻었다. 여기에 distilled few-step diffusion scheduler를 얹으니 end-to-end 33.78x가 나왔다.

이 33배는 단일 최적화로 만든 게 아니라 두 레이어의 합작이다.

  • 런타임 레이어: 1.2x–7.9x. 이 부분은 주로 Thor의 tensor core 대역폭, operator fusion, 메모리 재사용을 잡아먹는다. inference framework의 기본기다. 다만 edge GPU에서 이 구간을 뽑아냈다는 건, General Instinct가 실제로 Jetson에서 profiling을 돌렸다는 뜻이지, A100/H100에서만 돌리고 backport한 게 아니라는 의미다.
  • Scheduler 레이어: diffusion step을 25 visual / 50 action steps에서 2 / 4 steps로 잘라냈다. 이게 진짜 레버다. step 수가 12.5배 줄어들고, 여기에 runtime의 약 2.7배가 곱해져서 33.78배가 맞춰지는 구조다.

HN 원帖에서 Guanming이 직접 밝힌 수치는 "from the original 25 visual / 50 action steps to 2 / 4 steps"다. 즉 이 숫자는 마케팅 문구가 아니라 원래 구성에서 출발해 실제로 측정한 값이다.

독자가 첫눈에 판단할 것: 이건 더 볼 가치가 있는가? 내 답은 "가치 있다"다. 이게 푸는 문제가 edge robot에서 가장 아픈 latency budget이거든.

왜 4090이 아니라 Jetson Thor인가

Thor를 선택하고 소비용 4090을 안 쓴 데는 판단이 깔려 있다.

LingBot-VA는 5B 파라미터급 world-action 모델이다 (HN 제목과 요약 모두 이 사이즈를 명시했다). 5B에 diffusion policy를 얹으면 4090에서 이론적으로는 돌아간다. 다만 4090은 로봇 본체를 위해 설계된 게 아니다. 전력 450W, 능동 냉각 필요, 부피 때문에 대부분의 휴머노이드/이동 로봇 본체에 못 넣는다.

Thor의 포인트:

  • INT8/FP8 tensor core 대역폭이 5B급 on-device 추론 수요에 정확히 맞물림
  • NVIDIA Isaac 생태계(Isaac Lab, Isaac Sim, Isaac ROS)와 묶여 있어 sim2real 툴체인이 이미 갖춰져 있음
  • 전력 소모가 로봇 플랫폼이 감당 가능한 범위 안에 있음

이걸 종합하면 General Instinct가 노리는 건 "클라우드에서 더 빠르게"가 아니라 모델을 로봇 본체에 직접 올려서, control loop 주기보다 짧은 latency로 돌리는 것이다. Diffusion policy의 가장 큰 엔지니어링 장벽은 sampling step 수다. sampling을 50번 돌리면 로봇 팔이 이미 목표 지점을 지나쳐 있다. 2/4 step으로 떨어뜨려야 비로소 실시간이 가능하다.

따라서 "5B + on-device + few-step diffusion" 조합은 결국 같은 목표를 향한다. 로봇 정책 배포의 latency/연산 문턱을 본체 임베디드 플랫폼이 버틸 수 있는 수준까지 끌어내리는 것.

AGPL-3.0은 양날의 검

저장소를 한번 보면 라이선스가 AGPL-3.0이다. 이건 대충 고른 게 아니다.

AGPL-3.0의 핵심 제약: 코드를 수정해 네트워크로 서비스한다면, 그 수정 사항도 반드시 오픈소스로 공개해야 한다. 이 조항이 클라우드 업체가 "겉만 씌워서 판매"하는 경로를 직접 차단한다.

비교해보면:

  • Llama 시리즈: 완화된 라이선스, 상업적 파생 허용 (월간 활성 사용자 수 임계값 이하일 때)
  • Mistral 시리즈: Apache 2.0, 사실상 사용 방식 제한 없음
  • AGPL-3.0: 가장 빡빡하게 묶는 라이선스

로봇赛道에서 AGPL을 고른 데는 두 가지 계산이 깔려 있다고 본다.

  1. 클라우드 업체의 무임승차 차단. 로봇 모델의 학습 데이터, sim2real 파이프라인, 하드웨어 튜닝 노하우는 모두 고비용 축적이다. 클라우드 업체가 오픈소스 가중치를 가져다가 API로 요금을 받으면, 초기 투자자가 아무것도 가져갈 수 없다. AGPL은 이 길을 막는다.
  2. 상용 사용자 입장 선택을 강제하는 것. 정식 서비스(General Instinct가 직접 판매)를 사든지, 아니면 상류에 기여하든지 양자택일을 시킨다. AGPL-3.0 코드를 개선한 기업은 그 변경을 반드시 본부에 흘려보내야 한다.

대가가 명확하다. AGPL은 기업 현장에서 쓰기 어렵기로 유명하고, 법무팀이 발목을 잡는다. 그래서 InstinctFlash의 채택 속도는 Llama처럼 매끄럽지 않을 것이다. 다만 작성자는 그걸 신경 쓰지 않는 듯하고, 신경 쓰는 건 클라우드 업체가 가치를 빨아들이지 못하게 막는 것이다.

90.5%는 어떻게 측정됐나, 진짜인가

이 숫자에 대해 말하려면 먼저 평가 규모부터 봐야 한다.

  • 벤치마크: Robotwin2.0
  • 태스크 수: 50개
  • 에피소드 수: 각 설정당 1153 episodes

이게 무슨 규모냐면, 현재 주요 VLA(Vision-Language-Action) 논문의 평가는 대부분 10–30개 태스크, 태스크당 수십 trajectory다. 50개 태스크 × 1153 episodes, 이 평가 규모는 대부분의 RL/VLA 논문보다 훨씬 탄탄하다. 장난감 benchmark가 아니다.

이 규모에서 2/4 step 설정이 90.5% task success rate에 도달했다.

내 해석:

  1. 90.5%라는 숫자는 few-step distillation이 "빠르려고 양보한 것"이 아님을 보여준다. step이 12.5배 줄었는데도 성공률이 9割을 유지했으니, scheduler distillation의 품질이 어느 정도는 통과선이라는 뜻이다.
  2. 다만 주의할 점: "task success rate"는 aggregate 지표다. 꼬리 부분 동작(예: 정밀 그랩, 연성 물체 조작)에서 few-step이 점수를 떨어뜨리는지는 README에 breakdown이 없다.
  3. distillation 가속의 잠재적 위험: 태스크 일반화, 한 번도 본 적 없는 object configuration, 꼬리 쪽 skill. 이런 영역에서 distillation gap 때문에 regression이 나올 수 있다. 이후에 per-task breakdown이 나오는지 봐야 한다.

내 판단: 90.5%는 학술 데모로 충분하고, 산업 배포로는 아직 부족하다. 산업 현장에서 9割 성공률은 10번 조작하면 1번은 사람이 개입해야 한다는 뜻이다. 따라서 few-step distillation은 "가능"이지 "완성"은 아니다.

편집자 시각

이 사건이 중요한 이유: 로봇 정책 배포의 latency/연산 문턱이 2026년 들어 빠르게 낮아지고 있다. InstinctFlash가 5B diffusion policy를 Jetson Thor에서 실시간으로 돌렸다는 건, "edge 로봇 본체에 5B 월드 모델을 넣는 것"이 더 이상 슬라이드 한 장의 그림이 아니라는 뜻이다. sim2real 배포가 양산으로 가는 구체적인 신호다.

콘센서스에 반하는 관찰: 향후 12개월 동안 오픈소스 추론 프레임워크가 모델 자체보다 더 경쟁이 치열해질 수 있다. 지난 2년간 로봇/VLA 영역의 관심사는 "누가 더 큰 모델을 냈나"(Pi0, RT-2, OpenVLA 등)에 쏠려 있었다. 그런데 모델이 아무리 커도 안 도는 건 안 도는 거다. InstinctFlash 같은 serving framework가 배포 문턱을 한 단계 낮추는 가치는, 다음 7B 모델보다 더 클 수 있다. 이건 단순히 benchmark를 하나 더 깬 게 아니라 on-device 배포를 직접 unlock하기 때문이다.

이번과 기존 VLA 모델 발표의 차이: "모델 발표"에서 "서비스 스택 발표"로의 전환 신호. 예전에는 가중치 + 논문을 냈다. InstinctFlash의 발표 형태는 framework + distilled scheduler + 라이선스 전략의 풀 패키지다. 이는 로봇 트랙의 관심이 "학습됐다"에서 "실행된다"로 이동하고 있음을 보여준다.

아직 안 보이는 부분: edge 5B 모델이 복잡한 멀티태스크 환경에서 보여주는 안정성. 단일 태스크 90.5%는 믿는다. 하지만 few-shot 태스크 전환, 멀티태스크 동시 실행, 장시계 태스크의 누적 오차. 이런 상황에서 few-step diffusion이 edge에서 버틸 수 있는지는 아직 데이터가 없다. 그래서 이후의 per-task breakdown과 generalization test 결과를 주목할 예정이다.

출처: https://github.com/General-Instinct/InstinctFlash