제품

Edge0-145B 심층 분석: 로컬 LLM과 온디바이스 Agent는 다르다

145B 모델을 개인용 PC에 설치할 수 있다는 사실만으로 실용적인 AI Agent가 되지는 않는다. 하드웨어 요구 사항, 처리량, 도구 호출 성능과 재현 비용을 기준으로 Edge0-145B의 실제 활용 범위를 살펴본다.

글자 크기

Edge0-145B 심층 분석: 로컬 LLM과 온디바이스 Agent는 다르다

145B 모델을 개인용 컴퓨터에서 구동한다는 발표는 눈길을 확 끈다. 하지만 실제로 유용한 도구로 활용할 수 있는지는 하드웨어 요구 사항, 처리량과 도구 호출 성능이 결정한다.

145B 모델을 PC에 설치하는 것의 진짜 의미

Edge0는 사용자 자체 컴퓨터에서 최첨단 AI 기능을 제공한다는 목표의 Edge0-145B를 공개했다.

직접적인 이점은 두 가지다. 클라우드 API 의존도를 줄이고 데이터를 기기 밖으로 전송하지 않아도 된다. 또한 오프라인 환경에서도 모델을 실행할 수 있다.

다만 이 글이 Hacker News 메인 페이지에 올라왔을 때 반응은 48 points와 댓글 13개에 그쳤다.

인기 폭발은 아니지만, 다음과 같은 질문은 deserves careful examination.

145B 모델의 로컬 배포는 실용적인 Agent의 출발점이 될까, 아니면 연구자를 위한 성능 시연에 불과할까?

Edge0-145B의 규모는 145B 파라미터다.

이는 일반적인 소비자용 소형 모델의 양자화 방식이 아니라 초대형 모델 노선을 취한다는 뜻이다. 7B나 14B 모델은 낮은 비트 양자화를 통해 개인용 컴퓨터에 올리는 기술이 이미 상당히 성숙했다. 145B는 문제를 한 단계 더 복잡하게 만든다.

파라미터 규모의 의미는 모델을 ‘더 똑똑하게’ 만드는 데만 있는 게 아니다. 세 가지 요소에 직접 영향을 준다.

  • 가중치를 저장하는 데 필요한 공간
  • 추론 과정에서 필요한 메모리 대역폭
  • 토큰 하나를 생성하는 데 드는 연산 비용

따라서 ‘실행 가능하다’와 ‘실용적이다’ 사이에는 하드웨어의 격차가 존재한다.

발표 글에서 가장 중요한 것은 제목에 적힌 frontier AI capabilities가 아니라 로컬 배포 비용을 제대로 설명했는지다. 공식 문구는 다음과 같다.

Introducing Edge0-145B: Frontier AI Capabilities on Your Own Computer

공식 글 주소:

https://edge0.ai/blog/introducing-edge0-145b-frontier-ai-capabilities-on-your-own-computer

이 문구는 제품의 경계를 보여 준다. 자체 컴퓨터, 로컬 실행, 개인 기기에서 제공하는 최첨단 기능이다.

하지만 정확한 한계를 판단하려면 하드웨어 목록, 양자화 정밀도, 컨텍스트 길이, 첫 토큰 지연 시간, 지속 생성 속도와 서로 다른 구성에서 재현 가능한 benchmark가 필요하다.

이러한 데이터가 없으면 145B는 단순한 규모 주장에 불과하다. 데이터가 갖춰지면 실제 배포方案的 후보가 될 수 있다.

하드웨어 비용을 먼저 계산해야 한다

로컬 대용량 모델에서 가장容易被 놓치는 비용은 전기 요금이 아니라 메모리와 대역폭이다.

우선 간단히 계산해 보자. 모델이 4-bit 양자화를 적용한다고 가정하면 가중치 자체만 이론적으로 다음 크기에 가까워진다.

145B 参数 × 0.5 byte / 参数 ≈ 72.5 GB

이는 가중치 용량의 하한일 뿐이다. 실제 실행에는 양자화 메타데이터, KV cache, 연산 작업 공간과 운영체제 및 추론 프레임워크가 사용하는 메모리가 추가로 필요하다.

따라서 4-bit 양자화 145B 모델을 실제로 활용하려면 일반 소비자용 PC보다 대용량 메모리를 갖춘 워크스테이션이나 서버급 장비가 필요할 가능성이 크다. 8-bit을 사용하면 가중치 용량은 더욱 늘어나며, 정밀도가 높아질수록 필요한 공간도 커진다.

여기서 두 개념을 구분해야 한다.

  • 메모리 용량은 모델을装载할 수 있는지를 결정한다.
  • 메모리 대역폭과 GPU 처리량은 모델을 어느 정도 속도로 구동할 수 있는지를 결정한다.

모델을 한 장의 GPU에 올릴 수 있다는 사실이 인터랙티브한 속도를 보장하지는 않는다. 모델을 성공적으로 로드했더라도 초당 몇 개의 토큰만 생성한다면, Agent가 도구를十几 번 연속 호출할 때마다 대기 시간이 빠르게 누적된다.

컨텍스트 길이 역시 비용을 키운다. Agent는 흔히 시스템 프롬프트, 도구 정의, 대화 이력, 파일 내용과 중간 결과를 유지해야 한다. 컨텍스트가 길어질수록 KV cache 사용량과 prefilling 및 메모리 관리 부담이 커진다.

그러므로 Edge0-145B를 평가할 때는 ‘얼마나 긴 컨텍스트를 지원하는가’뿐 아니라 다음 항목도 확인해야 한다.

  1. 지정한 컨텍스트 길이에서 실제 생성 속도
  2. 첫 토큰 지연 시간
  3. 동시 처리 가능한 요청 수
  4. 긴 컨텍스트에서 속도가 눈에 띄게 저하되는지 여부
  5. 메모리 사용량이 안정적으로 유지되는지 여부
  6. 양자화로 인해 발생하는 성능 저하의 정도

이러한 지표는 ‘frontier AI capabilities’보다 일상적인 활용 가능성을 더 잘 보여 준다.

프라이버시 장점이 성능 비용이 될 수도 있다

로컬 추론에서 가장 명확한 이점은 프라이버시다.

코드, 고객 파일, 로그와 내부 문서를 서드파티 API로 업로드할 필요가 없다. GDPR, 내부 컴플라이언스, 기밀 프로젝트와 네트워크 조건이 제한된 팀에는 실질적인 도움이 된다.

오프라인 실행에도 가치가 있다. 비행기, 실험실, 사내망 환경 또는 API 계정 사용량 제한을 받은 상황에서도 로컬 모델은 계속 작동할 수 있다. 반면 클라우드 API는 탄력적인 확장에 유리하다. 작업량이 증가할 때는 인스턴스를 늘리고, 유휴할 때는 바로 종료할 수 있다.

로컬 배포의 한계도 여기에 있다.

  • 기기 성능 상한이 고정되어 있어 임시 확장이 어렵다
  • 동시 처리 능력은 보통 단일 GPU나 메모리 대역폭의 제약을 받는다
  • 드라이버, CUDA, 추론 프레임워크와 양자화 형식을 유지 관리해야 한다
  • 모델 업그레이드와 롤백을 사용자가 직접 담당한다
  • 하드웨어 구매와 설치 대기 시간도 비용에 포함된다

따라서 로컬 모델은 클라우드 API를 단순히 대체하는 선택지가 아니다. 빈도가 높고 민감하며 지연 시간이 중요한 단계는 로컬에서 처리하고, 복잡한 추론이나 유연하게 확장해야 하는 작업은 클라우드에 맡기는 방식이 합리적이다.

핵심은 Edge0-145B가 이러한 하이브리드 구성을 뒷받침할 만큼 충분한가에 달려 있다. 실제 처리량, 전력 소비와 동시 처리 데이터에 따라 하이브리드 아키텍처가 의미 있는 선택인지 판단할 수 있다.

Agent로 활용할 수 있는지는 도구 호출 성능이 좌우한다

대화 모델과 Agent 워크플로 실행은 서로 다른 수준의 기능이다.

대화 모델은 텍스트를 계속 생성하면 된다. Agent는 다음 과정을 안정적으로 수행해야 한다.

  1. 작업을 이해한다
  2. 어떤 도구를 호출할지 결정한다
  3. 구조화된 인수를 생성한다
  4. 도구가 반환한 결과를 읽는다
  5. 상태를 갱신하고 다음 단계를 결정한다

가장 문제가 되기 쉬운 부분은 Function Calling이다. 모델은 파싱할 수 없는 JSON을 출력하거나, 문자열을 객체로 작성하고, boolean 값을 자연어로 표현하며, 인수가 누락된 상황에서도 값을 지어낼 수 있다.

구조화된 출력에는 우선 다음과 같은 기본 검사를 적용할 수 있다.

{
  "name": "search_files",
  "arguments": {
    "query": "error timeout",
    "path": "./logs"
  }
}

하지만 JSON이 유효하다는 사실만으로 도구 호출이 정확하다는 보장은 없다. Agent는 도구 실패, 권한 부족, 시간 초과, 지나치게 긴 반환값과 중간 결과로 컨텍스트가 가득 찬 상황도 처리해야 한다.

Edge0-145B를 평가할 때는 세 종류의 테스트에 주목할 것이다.

  • 도구 선택 정확도: 검색이 필요한 상황에서 검색 도구를 선택하는가
  • 인수 정확도: 필드, 타입과 필수 항목이 schema에 엄격히 일치하는가
  • 긴 작업 복구율: 도구 오류 이후 같은 실패를 반복하지 않고 다른 경로를 선택하는가

여러 단계에 걸친 작업도 테스트해야 한다. 예를 들어 Agent에게 버그를 검색하고, 코드를 수정하고, 테스트를 실행한 뒤 실패 출력을 읽고 한 번 더 수정하도록 지시할 수 있다. 앞선 몇 단계에서의 성능만으로는 부족하다. 10단계 이후에도 제약 사항을 지키는 것이 진짜 기준이다.

AI Agent에서 평균 토큰 속도는 단순한 ‘성적표’가 아니다. 도구를 호출할 때마다 한 번의 생성이 발생하고, 도구 결과는 다시 다음 단계의 컨텍스트에 들어간다. 속도가 느리면 전체 워크플로의 시간 비용이 확대된다.

발표 자료보다 커뮤니티 반응을 살펴볼 만하다

Edge0-145B의 Hacker News 페이지에는 48 points와 댓글 13개가 표시됐다.

https://news.ycombinator.com/item?id=50475713

논의 규모는 크지 않지만 공식 데모만 보는 것보다 유용한 정보가 많다. 개발자들이 주로 묻는 질문은 네 가지로 정리된다.

1. 어떤 하드웨어가 필요한가

어떤 양자화 형식을 사용하는가. 가중치 파일의 크기는 얼마인가. 최소 메모리는 얼마인가. Apple Silicon, NVIDIA와 AMD 환경에서 사용할 수 있는가.

답변이 특정 추론 프레임워크에 의존한다면 버전과 실행 명령도 명확히 적어야 한다. 그렇지 않으면 ‘내 컴퓨터에서는 실행된다’는 주장을 다른 환경에서 재현하기 어렵다.

2. 실제 속도는 어떤가

개발자들은 초당 생성되는 토큰 수, 128K 이상의 컨텍스트에서의 속도, 여러 차례의 대화를 포함한 경우의 응답 시간을 알고 싶어 한다.

짧은 프롬프트에서 얻은 최고 속도만 제시하는 것은 참고 가치가 제한적이다. Agent 워크로드는 더 오래 실행되며 안정적인 처리량에도 더 크게 의존한다.

3. 라이선스는 무엇인가

로컬 실행이 곧 오픈소스를 의미하지는 않는다. 코드, 가중치, 학습 데이터 또는 파생 모델에 각각 어떤 라이선스가 적용되는지, 상업적 이용과 수정 및 재배포가 허용되는지 확인해야 한다.

라이선스가 모호하다면 145B 모델의 배포 비용을 하드웨어 비용만으로 계산할 수 없다. 잠재적인 법적 비용도 함께 고려해야 한다.

4. 재현 절차가 완전한가

최소한 다음 정보가 포함돼야 한다.

  • 다운로드 주소와 파일 체크섬
  • 추론 프레임워크와 버전
  • 하드웨어 구성
  • 전체 실행 명령
  • 예시 프롬프트
  • benchmark 매개변수와 원본 결과

이 정보가 홍보 페이지에만 있고 README나 release notes에는 없다면, 논의는 ‘좋아 보인다’는 수준에서 멈추고 실제 테스트로 이어지기 어렵다.

편집자 관점

Edge0-145B에서 주목할 점은 145B라는 숫자가 아니라 로컬 모델과 AI Agent 워크플로의 결합이다. 과거의 로컬 추론은 주로 프라이버시 보호 도구로 이해됐다. Edge0는 ‘개인 기기에서도 복잡한 작업을 실행할 수 있다’는 방향으로 논의를 확장하려 한다.

이번 발표는 일반적인 소형 모델 공개와 달랐다. 규모, 메모리와 대역폭 비용이 전면에 드러났기 때문이다. 논의의 초점은 모델을装载할 수 있는가가 아니라 작업을 안정적으로 완료할 수 있는가에 맞춰야 한다.

현재 Edge0-145B는 연구자가 성능 테스트를 계속 수행할 수 있는 플랫폼에 더 가깝다. 범용 온디바이스 Agent로 바로 볼 수는 없다. 공식적으로 동일 하드웨어 환경의 token/s, 도구 호출 정확도, 동시 처리 성능, 라이선스와 완전한 재현 명령을 제공하고, 커뮤니티에서 여러 날 연속 안정적으로 사용한 결과가 축적된다면 실용적인 출발점이 될 수 있다.

현재 가장 큰 공백도 분명하다. 공개 데이터가 부족해 발표 자료의 기능 주장이 독립적으로 검증 가능한 엔지니어링 결론으로 이어지지 못하고 있다.

출처: https://edge0.ai/blog/introducing-edge0-145b-frontier-ai-capabilities-on-your-own-computer