35B Qwen 塞進樹莓派,他把車子變成本地 Agent
Show HN 上有篇貼文炸了。開發者 ThinkOffApp 把 Qwen 模型塞進 Raspberry Pi,接上 OBD 介面、串接車廠雲端 API,做出一個能離線回答「該加什麼型號機油」的本地 Agent。
原話:
"I have it running an impressively intelligent and stable 35B Qwen model on a Raspberry Pi, hooked up to the car's OBD-II port for internal state data and to the manufacturer's cloud for remote control of things like AC and door locks. It's running a car manual knowledge base so it can answer questions like when should I add oil and what kind of oil even offline."
專案網址 ThinkOffApp/CarWatch。
值得拆解的點:① 35B 模型跑在 Pi 上很反直覺;② 本地 + 雲端 Agent 協作的架構;③ 汽車可能是邊緣 Agent 最早規模化的場景。
下面逐個拆開來看。
專案到底做了什麼
作者做的事:
- 本地 LLM:Raspberry Pi 跑 Qwen 35B,負責對話與工具呼叫
- OBD-II 接入:ELM327 相容轉接器讀取水溫、油量、轉速、故障碼
- 車廠雲端對接:官方 API 遠端控制空調、車門鎖、車窗
- 知識庫:整車手冊(數百頁 PDF)灌進去,以 RAG 檢索
- Agent 協作:本地處理即時性高、隱私敏感的任務;連網時把重量級推理路由給雲端
離線情境下,問「車子該加什麼型號機油」,本地直接從手冊裡撈答案,完全不連網。
為什麼 35B 能在 Pi 上跑
35B 全精度 fp16 大約 70GB,Pi 5 記憶體最多 8GB。理論上根本不該成立。
可能的方案:
- 激進量化:Qwen2.5 有 Q4_K_M、Q3_K_S、IQ2_M 等 GGUF 版本。35B Q4_K_M 大約 20GB,IQ2_M 能壓到 10GB,但精度損失明顯
- 層卸載到 NVMe:把不活躍的層 swap 到 SSD,延遲會爆掉
- MoE 變體:實際啟用參數遠低於 35B
- 行銷話術:實際跑的是蒸餾版或極限量化的版本
我的判斷:八成是 Q4_K_M 或更激進的量化加上層卸載,不可能是真正的全精度純記憶體推理。
llama.cpp 支援 layer-split 到多裝置,理論上層可以分散到 Pi + SSD。但 token 生成速度估計只有 1-2 token/s,慘不忍睹。
最大的疑問:作者沒公布推理速度與量化設定。這塊的可信度要打折。有跑過的讀者歡迎留言。
邊緣 + 雲端的 Agent 協作模式
作者的設計:
- 本地 Agent(小模型、即時、隱私):讀取 OBD、本地檢索、緊急判斷
- 雲端 Agent 家族(大模型、重量推理):行程規劃、長期維護、跨車資料彙整
路由邏輯大概是這樣:
if query == realtime_or_private:
→ local_agent()
→ OBD 資料 + 本地手冊
elif connectivity and query == heavy_reasoning:
→ cloud_agent()
else:
→ 本地 fallback這種「小模型在前、大模型在後」的架構,和雲端全包(Mercedes MBUX、Tesla Grok 整合)有本質差異:
| 維度 | 雲端全包 | 邊緣 + 雲端 |
|---|---|---|
| 隱私 | 資料全上傳 | 敏感資料不出車 |
| 延遲 | 200-500ms | <50ms |
| 可靠性 | 依賴網路 | 離線可用 |
| 成本 | 按 token 燒錢 | 一次性硬體 |
| 能力上限 | 取決於雲端模型 | 本地小模型有上限 |
汽車場景下,延遲與可靠性比智商更重要。喊一聲「嘿,水溫異常」,雲端花 3 秒思考,水箱早就沸騰了。本地 7B 小模型,200ms 內就決定「立刻停車」,比雲端 70B 更有價值。
汽車 Agent 的真實落點
汽車場景比一般 Agent 嚴苛得多:
- 隱私:行蹤、駕駛習慣、住址,敏感度堪比醫療
- 即時性:煞車、轉向、油門決策是 ms 等級
- 可靠性:不能像 Siri 聽不懂就擺爛
- 法規:UN-R157、ISO 26262
- 環境:-20°C 到 70°C、電磁干擾、震動、12V 電源波動
車廠做全棧 Agent 是必然的。但問題也很明顯:
- API 封閉,各家協定不統一
- OBD 擴充 PIDs 碎片化
- OTA 週期 6-12 個月
- 車機算力弱,還是幾年前的 ARM SoC
第三方專案的價值:繞過封閉生態,用開源硬體 + 開源模型做一層中介層。
一旦做起來,受影響最大的是汽車後市場。2018 年的老車也能享受類似新勢力車款的「對話式維護助理」,不是車廠給的,是你後裝上去的。
複製這個專案要踩的坑
按踩坑機率排序:
硬體
- Pi 5 8GB 是下限,Pi 4 記憶體頻寬不夠
- 加裝 NVMe HAT(Pimoroni NVMe Base),外接 1TB SSD
- 電源:Pi 5 要 27W USB-C PD,12V→5V 轉換器要穩壓
模型(關鍵)
- Qwen2.5-32B-Instruct Q4_K_M(注意是 32B,作者的口徑可能有出入)
- 或 Qwen2.5-14B-Instruct Q5_K_M,平衡精度與速度
- 72B 以上就算 IQ2 也幾乎不可用
OBD 轉接器
- ELM327 假貨多,推薦 OBDLink MX+ 或 Vgate iCar Pro
- 2008 年後的汽油車基本都是 CAN ISO 15765,柴油可能是 ISO 14230
python-OBD或obdii套件
車廠雲端對接(最大的坑)
各家 API:
- Toyota:Connected Services,OAuth2 + VIN 綁定
- Tesla:Fleet API,需開發者帳號
- BMW:Connected Drive,文件稀缺
- 福斯/奧迪:We Connect、VW Car-Net API
99% 會卡在 OAuth 回呼 或 VIN 綁定。從 Toyota 開始,文件最完整。
軟體棧
llama.cpp跑 GGUFlanggraph做 Agent 編排,狀態圖管理離線/線上分支chromadb本地向量資料庫obdPython 套件- MQTT 或 WebSocket 同步雲端
大概率會卡的地方
- Pi 5 跑 35B 記憶體還是不夠,加 swap 到 SSD,延遲從 50ms 變成 2s
- 車廠 API 限流,Toyota 日 1000 次上限
- OBD 資料雜訊,水溫感測器跳變,要濾波
- Pi 散熱,持續滿載會熱降頻,需要主動散熱
預算:
| 項目 | 價格 |
|---|---|
| Pi 5 8GB | $80 |
| NVMe HAT + 1TB SSD | $100 |
| OBDLink MX+ | $100 |
| 12V→5V 車用電源 | $20 |
| 散熱外殼 + 風扇 | $30 |
| 總計 | 約 $330 |
不算便宜,但比一台新車機便宜多了。
編輯隨筆
表面上看,這只是 Show HN 的炫技專案——「我把 35B 塞進 Pi 啦」。只看這層會錯過真正有趣的東西。
第一,邊緣 LLM 的可行性邊界被往前推了一截。就算速度慢、量化損失大,這件事證明「ARM 跑大模型」不是純理論。但作者沒公布實測 token/s,「impressive」可能指智慧而非速度。我的判斷:未來 1-2 年真正能用的邊緣部署,甜蜜點還是 7B-14B 高品質量化,35B 更多停留在 demo 價值。
第二,「小模型在前、大模型在後」可能是 Agent 落地的正確姿勢,不是反過來。這和雲端優先的思路(手機語音助理、智慧音箱、車機)完全不同。過去預設「雲端更強所以全丟雲端」,但在隱私、延遲、可靠性三個約束下,本地小模型不是過渡方案,而是終態。雲端 Agent 會變成「可選強化」,不是主路徑。
第三,汽車可能是邊緣 Agent 最早規模化的賽道,比手機早、比 IoT 早。理由:電源穩定(12V + 發電機)、空間夠(能塞 Pi + SSD)、場景封閉(一台車一個獨立 Agent)、使用者付費意願強。手機反而難做——電池不夠、算力被系統與 App 搶光、使用者對延遲更敏感。
不確定的部分:35B 實際跑起來什麼速度?車廠 API 對接穩不穩?Pi 5 散熱能不能扛住持續推理?這些都要等更多實測。
但有一件事可以確定:車機 Agent 的下半場,不屬於車廠,屬於第三方開源生態。CarWatch 不管最後活不活,它打開了一扇門。
參考資料:
- ThinkOffApp/CarWatch GitHub
- Show HN 原帖
- Qwen2.5 技術報告