實戰

35B Qwen 塞進樹莓派,他把車子變成本地 Agent

Show HN 熱門專案 CarWatch:在 Raspberry Pi 上本地執行 Qwen 35B,串接 OBD-II 讀取車輛狀態、對接車廠雲端控制空調與門鎖,離線時也能查詢機油型號,必要時再串連雲端 Agent。

字級

35B Qwen 塞進樹莓派,他把車子變成本地 Agent

Show HN 上有篇貼文炸了。開發者 ThinkOffApp 把 Qwen 模型塞進 Raspberry Pi,接上 OBD 介面、串接車廠雲端 API,做出一個能離線回答「該加什麼型號機油」的本地 Agent。

原話:

"I have it running an impressively intelligent and stable 35B Qwen model on a Raspberry Pi, hooked up to the car's OBD-II port for internal state data and to the manufacturer's cloud for remote control of things like AC and door locks. It's running a car manual knowledge base so it can answer questions like when should I add oil and what kind of oil even offline."

專案網址 ThinkOffApp/CarWatch。

值得拆解的點:① 35B 模型跑在 Pi 上很反直覺;② 本地 + 雲端 Agent 協作的架構;③ 汽車可能是邊緣 Agent 最早規模化的場景。

下面逐個拆開來看。

專案到底做了什麼

作者做的事:

  1. 本地 LLM:Raspberry Pi 跑 Qwen 35B,負責對話與工具呼叫
  2. OBD-II 接入:ELM327 相容轉接器讀取水溫、油量、轉速、故障碼
  3. 車廠雲端對接:官方 API 遠端控制空調、車門鎖、車窗
  4. 知識庫:整車手冊(數百頁 PDF)灌進去,以 RAG 檢索
  5. Agent 協作:本地處理即時性高、隱私敏感的任務;連網時把重量級推理路由給雲端

離線情境下,問「車子該加什麼型號機油」,本地直接從手冊裡撈答案,完全不連網。

為什麼 35B 能在 Pi 上跑

35B 全精度 fp16 大約 70GB,Pi 5 記憶體最多 8GB。理論上根本不該成立。

可能的方案:

  • 激進量化:Qwen2.5 有 Q4_K_M、Q3_K_S、IQ2_M 等 GGUF 版本。35B Q4_K_M 大約 20GB,IQ2_M 能壓到 10GB,但精度損失明顯
  • 層卸載到 NVMe:把不活躍的層 swap 到 SSD,延遲會爆掉
  • MoE 變體:實際啟用參數遠低於 35B
  • 行銷話術:實際跑的是蒸餾版或極限量化的版本

我的判斷:八成是 Q4_K_M 或更激進的量化加上層卸載,不可能是真正的全精度純記憶體推理。

llama.cpp 支援 layer-split 到多裝置,理論上層可以分散到 Pi + SSD。但 token 生成速度估計只有 1-2 token/s,慘不忍睹。

最大的疑問:作者沒公布推理速度與量化設定。這塊的可信度要打折。有跑過的讀者歡迎留言。

邊緣 + 雲端的 Agent 協作模式

作者的設計:

  • 本地 Agent(小模型、即時、隱私):讀取 OBD、本地檢索、緊急判斷
  • 雲端 Agent 家族(大模型、重量推理):行程規劃、長期維護、跨車資料彙整

路由邏輯大概是這樣:

if query == realtime_or_private:
    → local_agent()
    → OBD 資料 + 本地手冊
elif connectivity and query == heavy_reasoning:
    → cloud_agent()
else:
    → 本地 fallback

這種「小模型在前、大模型在後」的架構,和雲端全包(Mercedes MBUX、Tesla Grok 整合)有本質差異:

維度雲端全包邊緣 + 雲端
隱私資料全上傳敏感資料不出車
延遲200-500ms<50ms
可靠性依賴網路離線可用
成本按 token 燒錢一次性硬體
能力上限取決於雲端模型本地小模型有上限

汽車場景下,延遲與可靠性比智商更重要。喊一聲「嘿,水溫異常」,雲端花 3 秒思考,水箱早就沸騰了。本地 7B 小模型,200ms 內就決定「立刻停車」,比雲端 70B 更有價值。

汽車 Agent 的真實落點

汽車場景比一般 Agent 嚴苛得多:

  • 隱私:行蹤、駕駛習慣、住址,敏感度堪比醫療
  • 即時性:煞車、轉向、油門決策是 ms 等級
  • 可靠性:不能像 Siri 聽不懂就擺爛
  • 法規:UN-R157、ISO 26262
  • 環境:-20°C 到 70°C、電磁干擾、震動、12V 電源波動

車廠做全棧 Agent 是必然的。但問題也很明顯:

  • API 封閉,各家協定不統一
  • OBD 擴充 PIDs 碎片化
  • OTA 週期 6-12 個月
  • 車機算力弱,還是幾年前的 ARM SoC

第三方專案的價值:繞過封閉生態,用開源硬體 + 開源模型做一層中介層。

一旦做起來,受影響最大的是汽車後市場。2018 年的老車也能享受類似新勢力車款的「對話式維護助理」,不是車廠給的,是你後裝上去的。

複製這個專案要踩的坑

按踩坑機率排序:

硬體

  • Pi 5 8GB 是下限,Pi 4 記憶體頻寬不夠
  • 加裝 NVMe HAT(Pimoroni NVMe Base),外接 1TB SSD
  • 電源:Pi 5 要 27W USB-C PD,12V→5V 轉換器要穩壓

模型(關鍵)

  • Qwen2.5-32B-Instruct Q4_K_M(注意是 32B,作者的口徑可能有出入)
  • 或 Qwen2.5-14B-Instruct Q5_K_M,平衡精度與速度
  • 72B 以上就算 IQ2 也幾乎不可用

OBD 轉接器

  • ELM327 假貨多,推薦 OBDLink MX+ 或 Vgate iCar Pro
  • 2008 年後的汽油車基本都是 CAN ISO 15765,柴油可能是 ISO 14230
  • python-OBD 或 obdii 套件

車廠雲端對接(最大的坑)

各家 API:

  • Toyota:Connected Services,OAuth2 + VIN 綁定
  • Tesla:Fleet API,需開發者帳號
  • BMW:Connected Drive,文件稀缺
  • 福斯/奧迪:We Connect、VW Car-Net API

99% 會卡在 OAuth 回呼 或 VIN 綁定。從 Toyota 開始,文件最完整。

軟體棧

  • llama.cpp 跑 GGUF
  • langgraph 做 Agent 編排,狀態圖管理離線/線上分支
  • chromadb 本地向量資料庫
  • obd Python 套件
  • MQTT 或 WebSocket 同步雲端

大概率會卡的地方

  1. Pi 5 跑 35B 記憶體還是不夠,加 swap 到 SSD,延遲從 50ms 變成 2s
  2. 車廠 API 限流,Toyota 日 1000 次上限
  3. OBD 資料雜訊,水溫感測器跳變,要濾波
  4. Pi 散熱,持續滿載會熱降頻,需要主動散熱

預算:

項目價格
Pi 5 8GB$80
NVMe HAT + 1TB SSD$100
OBDLink MX+$100
12V→5V 車用電源$20
散熱外殼 + 風扇$30
總計約 $330

不算便宜,但比一台新車機便宜多了。

編輯隨筆

表面上看,這只是 Show HN 的炫技專案——「我把 35B 塞進 Pi 啦」。只看這層會錯過真正有趣的東西。

第一,邊緣 LLM 的可行性邊界被往前推了一截。就算速度慢、量化損失大,這件事證明「ARM 跑大模型」不是純理論。但作者沒公布實測 token/s,「impressive」可能指智慧而非速度。我的判斷:未來 1-2 年真正能用的邊緣部署,甜蜜點還是 7B-14B 高品質量化,35B 更多停留在 demo 價值。

第二,「小模型在前、大模型在後」可能是 Agent 落地的正確姿勢,不是反過來。這和雲端優先的思路(手機語音助理、智慧音箱、車機)完全不同。過去預設「雲端更強所以全丟雲端」,但在隱私、延遲、可靠性三個約束下,本地小模型不是過渡方案,而是終態。雲端 Agent 會變成「可選強化」,不是主路徑。

第三,汽車可能是邊緣 Agent 最早規模化的賽道,比手機早、比 IoT 早。理由:電源穩定(12V + 發電機)、空間夠(能塞 Pi + SSD)、場景封閉(一台車一個獨立 Agent)、使用者付費意願強。手機反而難做——電池不夠、算力被系統與 App 搶光、使用者對延遲更敏感。

不確定的部分:35B 實際跑起來什麼速度?車廠 API 對接穩不穩?Pi 5 散熱能不能扛住持續推理?這些都要等更多實測。

但有一件事可以確定:車機 Agent 的下半場,不屬於車廠,屬於第三方開源生態。CarWatch 不管最後活不活,它打開了一扇門。


參考資料:

來源: https://github.com/ThinkOffApp/CarWatch