Show HN의 한 게시물이 커뮤니티를 뜨겁게 달궜다. 개발자 ThinkOffApp은 Qwen 모델을 Raspberry Pi에 얹고, OBD 포트와 완성차 클라우드 API에 연결해, "어떤 엔진오일을 넣어야 하나" 같은 질문에 오프라인으로 답하는 로컬 Agent를 만들었다.
본인 말로:
"I have it running an impressively intelligent and stable 35B Qwen model on a Raspberry Pi, hooked up to the car's OBD-II port for internal state data and to the manufacturer's cloud for remote control of things like AC and door locks. It's running a car manual knowledge base so it can answer questions like when should I add oil and what kind of oil even offline."
프로젝트 주소 ThinkOffApp/CarWatch.
분해해볼 포인트: ① 35B 모델이 Pi 위에서 돌아간다는 직관에 반하는 사실 ② 로컬 + 클라우드 Agent 협업 아키텍처 ③ 자동차가 엣지 Agent의 첫规模化 시나리오가 될 가능성.
하나씩 살펴본다.
프로젝트가 실제로 뭘 한 건가
작성자가 한 일:
- 로컬 LLM: Raspberry Pi에서 Qwen 35B를 돌려 대화와 툴 호출을 처리
- OBD-II 연동: ELM327 호환 어댑터로 수온·연료·RPM·고장 코드 읽기
- 완성차 클라우드 연동: 공식 API로空调·도어락·윈도우 원격 제어
- 지식 베이스: 차량 매뉴얼(수백 페이지 PDF)을 RAG로 검색 가능하게 주입
- Agent 협업: 실시간성·프라이버시 민감 작업은 로컬에서, 무거운 추론은 네트워크가 있을 때 클라우드로 라우팅
오프라인 상황에서 "차에 어떤 엔진오일을 넣어야 하나"라고 물으면, 로컬에서 매뉴얼을 바로 뒤져 답을 준다. 네트워크는 필요 없다.
왜 35B가 Pi 위에서 돌아가는가
35B를 fp16 전밀도로 돌리면 약 70GB다. Pi 5의 메모리는 최대 8GB. 이론상 성립이 안 된다.
가능한 방식들:
- 공격적 양자화: Qwen2.5에는 Q4_K_M, Q3_K_S, IQ2_M 같은 GGUF 빌드가 있다. 35B Q4_K_M은 약 20GB, IQ2_M은 10GB까지 줄지만 정확도 손실이 크다
- 레이어를 NVMe로 오프로드: 비활성 레이어를 SSD에 스왑하면 지연时间是 폭증한다
- MoE 변형: 실제 활성 파라미터는 35B보다 훨씬 적다
- 마케팅 과장: 실제로는 경량화 버전이나 극한 양자화 버전을 돌렸을 가능성
판단: Q4_K_M 혹은 더 공격적인 양자화 + 레이어 오프로드 조합일 가능성이 높다. 전밀도 메모리 추론은 아니다.
llama.cpp는 멀티 디바이스로의 layer-split을 지원하므로, 레이어를 Pi와 SSD에 분산하는 것은 이론상 가능하다. 다만 토큰 생성 속도는 대략 1~2 token/s로, 실용적이라 보기 어렵다.
가장 큰 의문: 작성자가 추론 속도와 양자화 설정을 공개하지 않았다는 점이다. 이 부분의 신뢰도는 좀 깎아서 봐야 한다. 직접 테스트해본 사람이 있다면 댓글로 알려주길.
엣지 + 클라우드 Agent 협업 구조
작성자의 설계는 이렇다:
- 로컬 Agent(소형 모델, 실시간, 프라이버시): OBD 읽기, 로컬 검색, 긴급 판단
- 클라우드 Agent 패밀리(대형 모델, 무거운 추론): 주행 계획, 장기 유지보수, 차량 간 데이터 집계
라우팅 로직은 대략 이렇다:
if query == realtime_or_private:
→ local_agent()
→ OBD 데이터 + 로컬 매뉴얼
elif connectivity and query == heavy_reasoning:
→ cloud_agent()
else:
→ 로컬 fallback
이런 "소형 모델이 앞단, 대형 모델이 뒷단" 아키텍처는 클라우드 올인(Mercedes MBUX, Tesla Grok 통합)과 본질적으로 다르다.
| 차원 | 클라우드 올인 | 엣지 + 클라우드 |
|---|---|---|
| 프라이버시 | 데이터 전부 업로드 | 민감 데이터는 차량 밖으로 나가지 않음 |
| 지연 | 200~500ms | 50ms 미만 |
| 신뢰성 | 네트워크 의존 | 오프라인 동작 가능 |
| 비용 | 토큰당 과금 | 하드웨어 1회 구매 |
| 성능 상한 | 클라우드 모델에 종속 | 로컬 소형 모델에 상한 존재 |
자동차 시나리오에서는 지연과 신뢰성이 지능보다 중요하다. "헤이, 수온 이상"이라 외쳤을 때 클라우드가 3초 동안 고민하는 사이 엔진은 이미 과열된다. 로컬 7B 소형 모델이 200ms 안에 "즉시 정차"를 결정하는 편이 클라우드 70B보다 가치 있다.
자동차 Agent의 실제落地 포인트
자동차 시나리오는 일반 Agent보다 까다롭다.
- 프라이버시: 이동 경로, 운전 습관, 거주지 — 의료 데이터에 버금가는 민감도
- 실시간성: 브레이크·조향·가속 결정은 ms 단위
- 신뢰성: Siri처럼 못 알아듣고 포기하는 건 용납 불가
- 규제: UN-R157, ISO 26262
- 환경: -20°C~70°C, 전자기 간섭, 진동, 12V 전원 변동
완성차 업체가 풀스택 Agent를 만드는 건 필연이다. 다만 문제도 명확하다.
- API 폐쇄성, 제조사별 프로토콜 불일치
- OBD 확장 PIDs의 파편화
- OTA 주기 6~12개월
- 차량 인포테인먼트 연산 능력 부족 — 아직도 몇 년 전 ARM SoC
서드파티 프로젝트의 가치는 명확하다: 폐쇄 생태계를 우회해 오픈소스 하드웨어 + 오픈소스 모델로 미들웨어 한 층을 얹는 것.
이게 성공하면 가장 큰 영향을 받는 건 자동차 애프터마켓이다. 2018년식 중고차도 신생 전기차의 "대화형 정비 어시스턴트"를 누릴 수 있게 된다. 완성차가 주는 게 아니라, 사용자가 후장착하는 방식이다.
이 프로젝트를 따라 하려면 밟을 함정들
함정 확률 순으로 정리했다.
하드웨어
- Pi 5 8GB가 최소 사양이다. Pi 4는 메모리 대역폭이 부족하다
- NVMe HAT(Pimoroni NVMe Base) 추가, 외장 1TB SSD 연결
- 전원: Pi 5는 27W USB-C PD가 필요하다. 12V→5V 컨버터는 안정적으로 정전압되어야 한다
모델(핵심)
- Qwen2.5-32B-Instruct Q4_K_M (참고로 32B다, 작성자 표기와 차이가 있을 수 있다)
- 또는 Qwen2.5-14B-Instruct Q5_K_M — 정확도와 속도 균형
- 72B 이상은 IQ2라도 사실상 사용 불가
OBD 어댑터
- ELM327 짝퉁이 너무 많다. OBDLink MX+ 또는 Vgate iCar Pro 추천
- 2008년 이후 가솔린 차량은 대부분 CAN ISO 15765, 디젤은 ISO 14230일 수 있다
python-OBD또는obdii라이브러리 사용
완성차 클라우드 연동(가장 큰 함정)
제조사별 API:
- Toyota: Connected Services, OAuth2 + VIN 바인딩
- Tesla: Fleet API, 개발자 계정 필요
- BMW: Connected Drive, 문서가 부족하다
- Volkswagen/Audi: We Connect, VW Car-Net API
99% 확률로 OAuth 콜백이나 VIN 바인딩에서 막힌다. Toyota부터 시작하는 게 가장 문서가 잘 정리돼 있다.
소프트웨어 스택
llama.cpp로 GGUF 실행langgraph로 Agent 오케스트레이션, 오프라인/온라인 분기를 상태 그래프로 관리chromadb로컬 벡터 DBobdPython 라이브러리- MQTT 또는 WebSocket으로 클라우드와 동기화
막힐 가능성이 높은 지점
- Pi 5로 35B를 돌리면 메모리가 여전히 부족하다. SSD로 swap을 걸면 지연이 50ms에서 2초로 뛰는 문제가 발생한다
- 완성차 API의 rate limit — Toyota는 하루 1000회 상한
- OBD 데이터 노이즈 — 수온 센서 값이 튀므로 필터링이 필요하다
- Pi 발열 — 지속 풀로드 시 서멀 쓰로틀링, 능동 쿨링 필요
예산:
| 항목 | 가격 |
|---|---|
| Pi 5 8GB | $80 |
| NVMe HAT + 1TB SSD | $100 |
| OBDLink MX+ | $100 |
| 12V→5V 차량용 전원 | $20 |
| 방열 케이스 + 팬 | $30 |
| 합계 | 약 $330 |
싼 건 아니지만, 새 차량 인포테인먼트 시스템보다는 확실히 쌉니다.
편집자 생각
표면적으로 보면 그저 Show HN의 기술 자랑 프로젝트다 — "35B를 Pi에 우겨 넣었다". 이 층위만 보면 진짜 흥미로운 부분을 놓친다.
첫째, 엣지 LLM의 가능성 경계가 한 칸 더 밀렸다. 속도가 느리고 양자화 손실이 크더라도, "ARM에서 대형 모델"이 순수 이론이 아니라는 점은 입증됐다. 다만 작성자가 실제 token/s를 공개하지 않았기에, "impressive"가 지능을 가리키는 건지 속도를 가리키는 건지 알 수 없다. 판단컨대 향후 1~2년 안에 실제로 쓸 수 있는 엣지 배포의 스윗 스팟은 여전히 7B~14B 고품질 양자화이며, 35B는 demo 가치에 가깝다.
둘째, "소형 모델이 앞단, 대형 모델이 뒷단"이 Agent落地의 올바른姿势일 수 있다. 그 반대도 아니다. 클라우드 우선 사고방식(스마트폰 음성 어시스턴트, 스마트 스피커, 차량 인포테인먼트)와는 정반대다. 과거에는 "클라우드가 더 강하니까 다 클라우드로"가 디폴트였지만, 프라이버시·지연·신뢰성 세 가지 제약 아래에서는 로컬 소형 모델이过渡方案이 아니라 최종상탐다. 클라우드 Agent는 "선택적 강화 옵션"이지 주경로가 아니다.
셋째, 자동차가 엣지 Agent의 첫规模化 레이스가 될 가능성이 높다. 스마트폰보다 빠르고, IoT보다 빠르다. 이유: 전원 안정적(12V + 발전기), 공간 여유(Pi + SSD 수납 가능), 시나리오 폐쇄성(차량 1대당 독립 Agent 1개), 사용자의 지불 의사 강함. 스마트폰은 오히려 어렵다 — 배터리 부족, 시스템·앱에 연산력 잠식, 사용자가 지연에 더 민감.
불확실한 지점: 35B가 실제로 어떤 속도로 도는지, 완성차 API 연동이 안정적인지, Pi 5 발열이 지속 추론을 견디는지. 이 부분은 더 많은 실측이 필요하다.
다만 확실한 게 하나 있다: 차량 인포테인먼트 Agent의 후반전은 완성차 업체 것이 아니라 서드파티 오픈소스 생태계의 것이다. CarWatch가 살아남든 말든, 이 프로젝트는 문을 하나 열었다.
참고 자료:
- ThinkOffApp/CarWatch GitHub
- Show HN 원문
- Qwen2.5 기술 보고서