Show HN に興味深い投稿が並んでいた。開発者 ThinkOffApp は Qwen モデルを Raspberry Pi に載せ、OBD ポートと自動車メーカーのクラウド API を接続。オフラインでも「この車にはどの規格のオイルを入れるべきか」に答えられるローカル Agent を構築した。
本人のコメント:
I have it running an impressively intelligent and stable 35B Qwen model on a Raspberry Pi, hooked up to the car's OBD-II port for internal state data and to the manufacturer's cloud for remote control of things like AC and door locks. It's running a car manual knowledge base so it can answer questions like when should I add oil and what kind of oil even offline.
リポジトリは ThinkOffApp/CarWatch。
注目すべき点は3つ。① 35B モデルが Pi で動くという直感に反する構成。② ローカルとクラウドが協調する Agent アーキテクチャ。③ 自動車がエッジ Agent の最初の量産シナリオになる可能性。
順に掘り下げる。
プロジェクトの概要
作者の取り組みは以下のとおり。
- ローカル LLM:Raspberry Pi 上で Qwen 35B を実行し、対話とツール呼び出しを処理
- OBD-II 接続:ELM327 互換アダプタで水温・燃料残量・回転数・故障コードを取得
- 車載クラウド連携:公式 API でエアコン・ドアロック・パワーウィンドウを遠隔操作
- ナレッジベース:数百ページの整備マニュアル PDF を取り込み、RAG で検索
- Agent 協調:リアルタイム性や機密性の高い処理はローカル、重い推論はオンライン時にクラウドへルーティング
オフライン状態で「どのオイルを入れればいい?」と聞けば、ローカルのマニュアルから即座に回答が返る。ネットワークは不要。
なぜ 35B が Pi で動くのか
35B を fp16 で保持すると約 70GB。Pi 5 のメモリは最大 8GB。理屈上は成立しない。
考えられる手法は次のとおり。
- 思い切った量子化:Qwen2.5 には GGUF 版として Q4_K_M、Q3_K_S、IQ2_M などがある。35B の Q4_K_M で約 20GB、IQ2_M なら 10GB まで圧縮できるが、精度低下は大きい
- NVMe へのレイヤー退避:非アクティブ層を SSD にスワップ。レイテンシは跳ね上がる
- MoE バリアント:実効パラメータが 35B よりはるかに小さい
- マーケティング表現:実際には蒸留版や極限まで量子化した版の可能性
推測:おそらく Q4_K_M か、それ以上の量子化 + レイヤー退避だろう。真のフル精度・メモリ完結型の推論ではない。
llama.cpp はレイヤー分割を複数デバイスに対応しているが、Pi + SSD への分散では妥当だろう。それでも生成速度は推定 1〜2 token/s と、実用的とは言い難い。
最大の疑問:作者は推論速度も量子化設定も公開していない。この部分の信頼性には留保が必要。試した人はコメント欄で教えてほしい。
エッジ+クラウドの Agent 協調モデル
作者の設計はこうだ。
- ローカル Agent(軽量モデル、リアルタイム、プライバシー重視):OBD 読み取り、ローカル検索、緊急判定
- クラウド Agent 群(大規模モデル、重い推論):ルート計画、長期メンテナンス、複数車両の集計
ルーティングのロジックはおおむねこうなる。
if query == realtime_or_private:
→ local_agent()
→ OBD データ + ローカルマニュアル
elif connectivity and query == heavy_reasoning:
→ cloud_agent()
else:
→ ローカルにフォールバック
この「手前に軽量モデル、後ろに大型モデル」という構成は、クラウド全盛の考え方(Mercedes MBUX、Tesla Grok 統合など)と本質的に異なる。
| 観点 | クラウド完結 | エッジ + クラウド |
|---|---|---|
| プライバシー | 全データをアップロード | 機密データは車内に留まる |
| レイテンシ | 200〜500ms | 50ms 未満 |
| 信頼性 | ネットワーク依存 | オフラインで動作 |
| コスト | トークン課金が走る | ハードウェアは一括 |
| 能力の上限 | クラウドモデル次第 | ローカル小モデルに制約 |
自動車の用途では、レイテンシと信頼性のほうが知能より重要だ。「水温が異常だ」と呼びかけたのにクラウドで 3 秒も考えられたら、その間にオーバーヒートしている。ローカルの 7B モデルが 200ms 以内に「ただちに停車」と判断するほうが、クラウドの 70B より価値がある。
車載 Agent が実際に活きる場面
車載 Agent の要件は一般的な Agent よりずっと厳しい。
- プライバシー:走行履歴、運転習慣、住所。医療データ並みの機微情報
- リアルタイム性:ブレーキ・ステアリング・アクセルの判断は ms オーダー
- 信頼性:Siri のように「分かりません」で済ませるわけにはいかない
- 法規制:UN-R157、ISO 26262
- 環境:-20°C〜70°C、電磁ノイズ、振動、12V 電源の変動
メーカーがフルスタック Agent を作るのは避けられない。だが問題もはっきりしている。
- API がクローズドで、各社プロトコルがバラバラ
- OBD の拡張 PID が断片化
- OTA サイクルが 6〜12 か月
- 車載 SoC は数年前の ARM で、計算資源が弱い
サードパーティ・プロジェクトの価値はここにある。クローズドな生態系を迂回して、オープンなハードウェア+オープンなモデルでミドルウェアを一枚挟む。
これが実現すれば、最も影響を受けるのは 自動車アフターマーケットだ。2018 年式の旧型車でも、新興 EV のような「対話型メンテナンス・アシスタント」を楽しめるようになる。ただしメーカー純正ではなく、後付けで。
同じプロジェクトを再現するときに踏む地雷
ハマりやすい順に記載する。
ハードウェア
- Pi 5 8GB が最低ライン。Pi 4 ではメモリ帯域が足りない
- NVMe HAT(Pimoroni NVMe Base など)を追加し、1TB SSD を外付け
- 電源:Pi 5 は 27W USB-C PD が必要。12V→5V コンバータは安定出力のものを使う
モデル(要)
- Qwen2.5-32B-Instruct の Q4_K_M(35B ではなく 32B。作者の表記ぶれに注意)
- あるいは精度と速度のバランスを取るなら Qwen2.5-14B-Instruct の Q5_K_M
- 72B 以上は IQ2 でも実用困難
OBD アダプタ
- ELM327 は偽物が多い。OBDLink MX+ か Vgate iCar Pro が安心
- 2008 年以降のガソリン車は基本的に CAN ISO 15765、ディーゼル車は ISO 14230 の可能性
python-OBDまたはobdiiライブラリ
車載クラウド連携(最大の地雷)
メーカー各社の API:
- Toyota:Connected Services、OAuth2 + VIN バインド
- Tesla:Fleet API、開発者アカウントが必要
- BMW:Connected Drive、ドキュメントが不足
- VW/Audi:We Connect、VW Car-Net API
99% は OAuth コールバック か VIN バインドでつまずく。まず Toyota から試すのが、ドキュメントが最も整っている。
ソフトウェアスタック
llama.cppで GGUF を実行langgraphで Agent 编排、オフライン/オンライン分岐をステートグラフで管理chromadbをローカルベクトル DB にobdの Python ライブラリ- クラウド同期は MQTT または WebSocket
まず間違いなく詰まるポイント
- Pi 5 で 35B はメモリ不足。SSD にスワップするとレイテンシが 50ms から 2 秒に化ける
- 車載 API のレートリミット。Toyota は 1 日 1000 回まで
- OBD データのノイズ。水温センサの跳変をフィルタリングする必要がある
- Pi の発熱。連続フルロードはサーマルスロットリングを起こすので、アクティブ冷却が不可欠
予算:
| 項目 | 価格 |
|---|---|
| Pi 5 8GB | $80 |
| NVMe HAT + 1TB SSD | $100 |
| OBDLink MX+ | $100 |
| 12V→5V 車載電源 | $20 |
| 冷却ケース + ファン | $30 |
| 合計 | 約 $330 |
安くはないが、新しい車載インフォテインメントを買うよりはずっと安い。
編集後記
表面的には Show HN の技術デモ——「35B を Pi に詰め込んだ」自慢話に見えるが、その表面だけ見ていては面白いところを見落とす。
第一に、エッジ LLM の実用境界が一段前に押し上げられた。速度が遅く、量子化で精度を犠牲にしていても、「ARM で大型モデルを動かす」が机上の空論ではないことは示された。ただし作者は実測 token/s を公開していないので、「impressive」が指しているのは速度ではなく賢さのほうだろう。1〜2 年後に本当に現場で使えるエッジ配備のスイートスポットは 7B〜14B の高品質量子化で、35B は demo としての価値が中心、というのが自分の見立て。
第二に、「手前に小モデル、後ろに大モデル」という構成は、Agent 実装の正解かもしれない。クラウド優先の発想(スマホ音声アシスタント、スマートスピーカー、車載インフォテインメント)とはまったく逆だ。かつては「クラウドのほうが強いから全部クラウドに投げろ」が常識だったが、プライバシー・レイテンシ・信頼性の3制約を突きつけられた今、ローカル小モデルは過渡期の手段ではなく最終形態だ。クラウド Agent は「オプションの強化」であって、主経路にはならない。
第三に、自動車はエッジ Agent が最初に量産化される分野になりうる。スマホより早く、IoT より早く。理由は明確。電源が安定している(12V + 発電機)、スペースがある(Pi + SSD を積める)、シナリオが閉じている(1 台 1 Agent)、ユーザーの課金意欲が高い。スマホのほうがかえって難しい——バッテリーが足りない、計算資源を OS とアプリに食われる、ユーザーは遅延に敏感。
不確実な点:35B を実際に動かすと何 token/s なのか。車載 API 連携は安定して動くのか。Pi 5 の冷却で連続推論に耐えられるか。これらは追検証待ち。
ただ一つ確実に言えることがある。車載 Agent の後半戦は、自動車メーカーではなく、サードパーティのオープンソース生態系のものになる。CarWatch が最終的に生き残るとか残らないとかは関係ない。重要なのは、この一手を示したことだ。
参考:
- ThinkOffApp/CarWatch GitHub
- Show HN 元投稿
- Qwen2.5 技術報告