实战

35B Qwen 跑在树莓派上,他把汽车变成了本地 Agent

Show HN 热门项目 CarWatch:用 Raspberry Pi 本地跑 Qwen 35B,接 OBD-II 读车辆状态,接车厂云控空调车门锁,离线查机油型号,在线联动云端 Agent。

字号

Show HN 上有个帖子炸了。开发者 ThinkOffApp 把 Qwen 模型塞进 Raspberry Pi,接 OBD 接口,接车厂云 API,做成能离线回答「该加什么型号机油」的本地 Agent。

原话:

"I have it running an impressively intelligent and stable 35B Qwen model on a Raspberry Pi, hooked up to the car's OBD-II port for internal state data and to the manufacturer's cloud for remote control of things like AC and door locks. It's running a car manual knowledge base so it can answer questions like when should I add oil and what kind of oil even offline."

项目地址 ThinkOffApp/CarWatch。

值得拆的点:① 35B 模型跑在 Pi 上反直觉;② 本地 + 云端 Agent 协作的架构;③ 汽车可能是边缘 Agent 最先规模化的场景。

下面逐个拆。

项目到底干了啥

作者做的事:

  1. 本地 LLM:Raspberry Pi 跑 Qwen 35B,处理对话和工具调用
  2. OBD-II 接入:ELM327 兼容适配器读水温、油量、转速、故障码
  3. 车厂云对接:官方 API 远程控空调、车门锁、车窗
  4. 知识库:整车手册(几百页 PDF)喂进去,RAG 检索
  5. Agent 协作:本地处理实时性高、隐私敏感任务;联网时把重推理路由给云端

离线场景下,问「车该加什么型号机油」,本地直接从手册里捞答案,不联网。

为什么 35B 能在 Pi 上跑

35B 全精度 fp16 大概 70GB,Pi 5 内存最大 8GB。理论上不该成立。

可能的方案:

  • 激进量化:Qwen2.5 有 Q4_K_M、Q3_K_S、IQ2_M 等 GGUF 版本。35B Q4_K_M 大概 20GB,IQ2_M 能压到 10GB,但精度损失明显
  • 层卸载到 NVMe:不活跃的层 swap 到 SSD,延迟会爆
  • MoE 变体:激活参数远低于 35B
  • 营销口径:实际跑的是蒸馏版或极限量化的版本

我的判断:大概率 Q4_K_M 或更激进的量化 + 层卸载,不是真全精度纯内存推理。

llama.cpp 支持 layer-split 到多设备,理论上层可以分散到 Pi + SSD。但 token 生成速度估计 1-2 token/s,惨不忍睹。

最大的疑问:作者没公布推理速度和量化配置。这块的真实性需要打折扣。有读者跑过欢迎留言。

边缘 + 云端的 Agent 协作模式

作者的设计:

  • 本地 Agent(小模型,实时,隐私):读 OBD、本地检索、紧急判断
  • 云端 Agent 家族(大模型,重推理):行程规划、长期维护、跨车数据汇总

路由逻辑大概是这样:

if query == realtime_or_private:
    → local_agent()
    → OBD 数据 + 本地手册
elif connectivity and query == heavy_reasoning:
    → cloud_agent()
else:
    → 本地 fallback

这种「小模型在前,大模型在后」的架构,和云端全包(Mercedes MBUX、Tesla Grok 集成)有本质区别:

维度 云端全包 边缘 + 云端
隐私 数据全上传 敏感数据不出车
延迟 200-500ms <50ms
可靠性 依赖网络 离线可用
成本 按 token 烧钱 一次性硬件
能力上限 取决于云端模型 本地小模型有上限

汽车场景下,延迟和可靠性比智商重要。喊「Hey,水温异常」,云端 3 秒思考,水温已经拉缸。本地 7B 小模型,200ms 内决定「立刻停车」,比云端 70B 更有价值。

汽车 Agent 的真实落地点

汽车场景比一般 Agent 苛刻得多:

  • 隐私:轨迹、驾驶习惯、住址,敏感度堪比医疗
  • 实时性:刹车、转向、油门决策是 ms 级
  • 可靠性:不能像 Siri 听不懂就摆烂
  • 法规:UN-R157、ISO 26262
  • 环境:-20°C 到 70°C,电磁干扰,振动,12V 电源波动

车厂做全栈 Agent 是必然的。但问题也明显:

  • API 封闭,各家协议不统一
  • OBD 扩展 PIDs 碎片化
  • OTA 周期 6-12 个月
  • 车机算力弱,还是几年前的 ARM SoC

第三方项目的价值:绕过封闭生态,开源硬件 + 开源模型做一层中间件。

做成的话,影响最大的是 汽车后市场。2018 年的老车也能享受类似新势力车的「对话式维护助手」,不是车厂给的,是你后装上去的。

复制这个项目要踩的坑

按踩坑概率排序:

硬件

  • Pi 5 8GB 是下限,Pi 4 内存带宽不够
  • 加 NVMe HAT(Pimoroni NVMe Base),外接 1TB SSD
  • 电源:Pi 5 要 27W USB-C PD,12V→5V 转换器要稳压

模型(关键)

  • Qwen2.5-32B-Instruct Q4_K_M(注意是 32B,作者口径可能有出入)
  • 或 Qwen2.5-14B-Instruct Q5_K_M,平衡精度和速度
  • 72B 及以上即使 IQ2 也基本不可用

OBD 适配器

  • ELM327 假货多,建议 OBDLink MX+ 或 Vgate iCar Pro
  • 2008 后汽油车基本都是 CAN ISO 15765,柴油可能是 ISO 14230
  • python-OBD 或 obdii 库

车厂云对接(最大的坑)

各家 API:
- Toyota:Connected Services,OAuth2 + VIN 绑定
- Tesla:Fleet API,需开发者账号
- BMW:Connected Drive,文档稀缺
- 大众/奥迪:We Connect,VW Car-Net API

99% 卡在 OAuth 回调 或 VIN 绑定。从 Toyota 开始,文档最完整。

软件栈

  • llama.cpp 跑 GGUF
  • langgraph 做 Agent 编排,状态图管理离线/在线分支
  • chromadb 本地向量库
  • obd Python 库
  • MQTT 或 WebSocket 同步云端

大概率会卡的地方

  1. Pi 5 跑 35B 内存还是不够,加 swap 到 SSD,延迟从 50ms 变成 2s
  2. 车厂 API 限流,丰田日 1000 次上限
  3. OBD 数据噪声,水温传感器跳变,要滤波
  4. Pi 散热,持续满载会热降频,需要主动散热

预算:

项目 价格
Pi 5 8GB $80
NVMe HAT + 1TB SSD $100
OBDLink MX+ $100
12V→5V 车载电源 $20
散热外壳 + 风扇 $30
总计 $330 左右

不算便宜,比一台新车机便宜多了。

编辑思考

表面看,这只是 Show HN 的炫技项目——「我把 35B 塞进 Pi 啦」。只看这一层会错过真正有意思的东西。

第一,边缘 LLM 的可行性边界被往前推了一截。即便速度慢、量化损失大,这件事证明「ARM 跑大模型」不是纯理论。但作者没公布实测 token/s,「impressive」可能指智能不是速度。我的判断:未来 1-2 年真正能用的边缘部署,甜点还是 7B-14B 高质量量化,35B 更多是 demo 价值。

第二,「小模型在前、大模型在后」可能是 Agent 落地的正确姿势,不是反过来。这和云端优先的思路(手机语音助手、智能音箱、车机)完全不同。过去默认「云端更强所以全丢云端」,但隐私、延迟、可靠性三个约束下,本地小模型不是过渡方案,是终态。云端 Agent 会变成「可选增强」,不是主路径。

第三,汽车可能是边缘 Agent 最先规模化的赛道,比手机早、比 IoT 早。理由:电源稳定(12V + 发电机)、空间够(能塞 Pi + SSD)、场景封闭(一台车一个独立 Agent)、用户付费意愿强。手机反而难做——电池不够、算力被系统和 App 抢光、用户对延迟更敏感。

不确定的地方:35B 实际跑起来什么速度?车厂 API 对接稳不稳?Pi 5 散热能不能扛住持续推理?这些都要等更多实测。

但有一件事可以确定:车机 Agent 的下半场,不属于车厂,属于第三方开源生态。CarWatch 不管最后活不活,它打开了一扇门。


参考资料:
- ThinkOffApp/CarWatch GitHub
- Show HN 原帖
- Qwen2.5 技术报告

来源: https://github.com/ThinkOffApp/CarWatch