実践

Raspberry Pi で 35B Qwen を動かし、愛車をローカル Agent 化

Show HN で話題を集める CarWatch は、Raspberry Pi 上で Qwen 35B をローカル実行し、OBD-II で車両状態を読み取り、車載 API でエアコンやドアロックを遠隔操作。オフラインでオイルの規格を回答し、オンライン時はクラウド Agent と連携する。

文字サイズ

Show HN に興味深い投稿が並んでいた。開発者 ThinkOffApp は Qwen モデルを Raspberry Pi に載せ、OBD ポートと自動車メーカーのクラウド API を接続。オフラインでも「この車にはどの規格のオイルを入れるべきか」に答えられるローカル Agent を構築した。

本人のコメント:

I have it running an impressively intelligent and stable 35B Qwen model on a Raspberry Pi, hooked up to the car's OBD-II port for internal state data and to the manufacturer's cloud for remote control of things like AC and door locks. It's running a car manual knowledge base so it can answer questions like when should I add oil and what kind of oil even offline.

リポジトリは ThinkOffApp/CarWatch。

注目すべき点は3つ。① 35B モデルが Pi で動くという直感に反する構成。② ローカルとクラウドが協調する Agent アーキテクチャ。③ 自動車がエッジ Agent の最初の量産シナリオになる可能性。

順に掘り下げる。

プロジェクトの概要

作者の取り組みは以下のとおり。

  • ローカル LLM:Raspberry Pi 上で Qwen 35B を実行し、対話とツール呼び出しを処理
  • OBD-II 接続:ELM327 互換アダプタで水温・燃料残量・回転数・故障コードを取得
  • 車載クラウド連携:公式 API でエアコン・ドアロック・パワーウィンドウを遠隔操作
  • ナレッジベース:数百ページの整備マニュアル PDF を取り込み、RAG で検索
  • Agent 協調:リアルタイム性や機密性の高い処理はローカル、重い推論はオンライン時にクラウドへルーティング

オフライン状態で「どのオイルを入れればいい?」と聞けば、ローカルのマニュアルから即座に回答が返る。ネットワークは不要。

なぜ 35B が Pi で動くのか

35B を fp16 で保持すると約 70GB。Pi 5 のメモリは最大 8GB。理屈上は成立しない。

考えられる手法は次のとおり。

  • 思い切った量子化:Qwen2.5 には GGUF 版として Q4_K_M、Q3_K_S、IQ2_M などがある。35B の Q4_K_M で約 20GB、IQ2_M なら 10GB まで圧縮できるが、精度低下は大きい
  • NVMe へのレイヤー退避:非アクティブ層を SSD にスワップ。レイテンシは跳ね上がる
  • MoE バリアント:実効パラメータが 35B よりはるかに小さい
  • マーケティング表現:実際には蒸留版や極限まで量子化した版の可能性

推測:おそらく Q4_K_M か、それ以上の量子化 + レイヤー退避だろう。真のフル精度・メモリ完結型の推論ではない。

llama.cpp はレイヤー分割を複数デバイスに対応しているが、Pi + SSD への分散では妥当だろう。それでも生成速度は推定 1〜2 token/s と、実用的とは言い難い。

最大の疑問:作者は推論速度も量子化設定も公開していない。この部分の信頼性には留保が必要。試した人はコメント欄で教えてほしい。

エッジ+クラウドの Agent 協調モデル

作者の設計はこうだ。

  • ローカル Agent(軽量モデル、リアルタイム、プライバシー重視):OBD 読み取り、ローカル検索、緊急判定
  • クラウド Agent 群(大規模モデル、重い推論):ルート計画、長期メンテナンス、複数車両の集計

ルーティングのロジックはおおむねこうなる。

if query == realtime_or_private:
    → local_agent()
    → OBD データ + ローカルマニュアル
elif connectivity and query == heavy_reasoning:
    → cloud_agent()
else:
    → ローカルにフォールバック

この「手前に軽量モデル、後ろに大型モデル」という構成は、クラウド全盛の考え方(Mercedes MBUX、Tesla Grok 統合など)と本質的に異なる。

観点クラウド完結エッジ + クラウド
プライバシー全データをアップロード機密データは車内に留まる
レイテンシ200〜500ms50ms 未満
信頼性ネットワーク依存オフラインで動作
コストトークン課金が走るハードウェアは一括
能力の上限クラウドモデル次第ローカル小モデルに制約

自動車の用途では、レイテンシと信頼性のほうが知能より重要だ。「水温が異常だ」と呼びかけたのにクラウドで 3 秒も考えられたら、その間にオーバーヒートしている。ローカルの 7B モデルが 200ms 以内に「ただちに停車」と判断するほうが、クラウドの 70B より価値がある。

車載 Agent が実際に活きる場面

車載 Agent の要件は一般的な Agent よりずっと厳しい。

  • プライバシー:走行履歴、運転習慣、住所。医療データ並みの機微情報
  • リアルタイム性:ブレーキ・ステアリング・アクセルの判断は ms オーダー
  • 信頼性:Siri のように「分かりません」で済ませるわけにはいかない
  • 法規制:UN-R157、ISO 26262
  • 環境:-20°C〜70°C、電磁ノイズ、振動、12V 電源の変動

メーカーがフルスタック Agent を作るのは避けられない。だが問題もはっきりしている。

  • API がクローズドで、各社プロトコルがバラバラ
  • OBD の拡張 PID が断片化
  • OTA サイクルが 6〜12 か月
  • 車載 SoC は数年前の ARM で、計算資源が弱い

サードパーティ・プロジェクトの価値はここにある。クローズドな生態系を迂回して、オープンなハードウェア+オープンなモデルでミドルウェアを一枚挟む。

これが実現すれば、最も影響を受けるのは 自動車アフターマーケットだ。2018 年式の旧型車でも、新興 EV のような「対話型メンテナンス・アシスタント」を楽しめるようになる。ただしメーカー純正ではなく、後付けで。

同じプロジェクトを再現するときに踏む地雷

ハマりやすい順に記載する。

ハードウェア

  • Pi 5 8GB が最低ライン。Pi 4 ではメモリ帯域が足りない
  • NVMe HAT(Pimoroni NVMe Base など)を追加し、1TB SSD を外付け
  • 電源:Pi 5 は 27W USB-C PD が必要。12V→5V コンバータは安定出力のものを使う

モデル(要)

  • Qwen2.5-32B-Instruct の Q4_K_M(35B ではなく 32B。作者の表記ぶれに注意)
  • あるいは精度と速度のバランスを取るなら Qwen2.5-14B-Instruct の Q5_K_M
  • 72B 以上は IQ2 でも実用困難

OBD アダプタ

  • ELM327 は偽物が多い。OBDLink MX+ か Vgate iCar Pro が安心
  • 2008 年以降のガソリン車は基本的に CAN ISO 15765、ディーゼル車は ISO 14230 の可能性
  • python-OBD または obdii ライブラリ

車載クラウド連携(最大の地雷)

メーカー各社の API:

  • Toyota:Connected Services、OAuth2 + VIN バインド
  • Tesla:Fleet API、開発者アカウントが必要
  • BMW:Connected Drive、ドキュメントが不足
  • VW/Audi:We Connect、VW Car-Net API

99% は OAuth コールバック か VIN バインドでつまずく。まず Toyota から試すのが、ドキュメントが最も整っている。

ソフトウェアスタック

  • llama.cpp で GGUF を実行
  • langgraph で Agent 编排、オフライン/オンライン分岐をステートグラフで管理
  • chromadb をローカルベクトル DB に
  • obd の Python ライブラリ
  • クラウド同期は MQTT または WebSocket

まず間違いなく詰まるポイント

  1. Pi 5 で 35B はメモリ不足。SSD にスワップするとレイテンシが 50ms から 2 秒に化ける
  2. 車載 API のレートリミット。Toyota は 1 日 1000 回まで
  3. OBD データのノイズ。水温センサの跳変をフィルタリングする必要がある
  4. Pi の発熱。連続フルロードはサーマルスロットリングを起こすので、アクティブ冷却が不可欠

予算:

項目価格
Pi 5 8GB$80
NVMe HAT + 1TB SSD$100
OBDLink MX+$100
12V→5V 車載電源$20
冷却ケース + ファン$30
合計約 $330

安くはないが、新しい車載インフォテインメントを買うよりはずっと安い。

編集後記

表面的には Show HN の技術デモ——「35B を Pi に詰め込んだ」自慢話に見えるが、その表面だけ見ていては面白いところを見落とす。

第一に、エッジ LLM の実用境界が一段前に押し上げられた。速度が遅く、量子化で精度を犠牲にしていても、「ARM で大型モデルを動かす」が机上の空論ではないことは示された。ただし作者は実測 token/s を公開していないので、「impressive」が指しているのは速度ではなく賢さのほうだろう。1〜2 年後に本当に現場で使えるエッジ配備のスイートスポットは 7B〜14B の高品質量子化で、35B は demo としての価値が中心、というのが自分の見立て。

第二に、「手前に小モデル、後ろに大モデル」という構成は、Agent 実装の正解かもしれない。クラウド優先の発想(スマホ音声アシスタント、スマートスピーカー、車載インフォテインメント)とはまったく逆だ。かつては「クラウドのほうが強いから全部クラウドに投げろ」が常識だったが、プライバシー・レイテンシ・信頼性の3制約を突きつけられた今、ローカル小モデルは過渡期の手段ではなく最終形態だ。クラウド Agent は「オプションの強化」であって、主経路にはならない。

第三に、自動車はエッジ Agent が最初に量産化される分野になりうる。スマホより早く、IoT より早く。理由は明確。電源が安定している(12V + 発電機)、スペースがある(Pi + SSD を積める)、シナリオが閉じている(1 台 1 Agent)、ユーザーの課金意欲が高い。スマホのほうがかえって難しい——バッテリーが足りない、計算資源を OS とアプリに食われる、ユーザーは遅延に敏感。

不確実な点:35B を実際に動かすと何 token/s なのか。車載 API 連携は安定して動くのか。Pi 5 の冷却で連続推論に耐えられるか。これらは追検証待ち。

ただ一つ確実に言えることがある。車載 Agent の後半戦は、自動車メーカーではなく、サードパーティのオープンソース生態系のものになる。CarWatch が最終的に生き残るとか残らないとかは関係ない。重要なのは、この一手を示したことだ。


参考:

出典: https://github.com/ThinkOffApp/CarWatch