8 月初 GitHub 发了篇博客,标题很直白:「How we found 24 Android vulnerabilities using our open source AI security agent」。
一句话总结:GitHub 自研了一个 AI Agent,在 Android 系统里挖出 24 个真实漏洞,代码全开源,任何人能复现。
这篇文章热度也起来了——Hacker News 首页推荐过这条,讨论里基本是「终于不是 demo」的感叹。
下面把这事拆开看。
24 个漏洞是怎么挖出来的
不是 toy example,是真·Android 系统级审计。
GitHub 安全团队的目标很明确:不是跑一个公开 benchmark,而是直接拿 AOSP(Android Open Source Project)的代码开干。Agent 跑了大概几周,翻出来 24 个漏洞,包括内存安全、权限绕过、信息泄漏几类。
工作流分四步:
- 代码索引 —— Agent 先把目标代码库拆成可搜索的单元,建立索引
- 模式推理 —— 基于漏洞模型推理可疑代码模式(越界、UAF、权限校验缺失等)
- PoC 生成 —— 针对可疑点生成测试输入或者 fuzz harness
- 人工复核 —— 安全研究员确认,提交修复
关键在第 4 步:Agent 不负责直接出 CVE,只负责「缩小范围 + 给出证据」。
Agent 的核心思路:让 LLM 像人一样审计
传统 SAST(Static Application Security Testing)工具靠规则——pattern matching,看到 strcpy 就报警。漏报率高,因为真实漏洞往往跨函数、跨模块,逻辑藏在数据流里。
GitHub 这个 Agent 的设计哲学是反过来的:让 LLM 扮演初级安全研究员。
具体怎么干?Agent 被设计成可以调用一串工具:
# 简化版 Agent 主循环
while not done:
thought = llm(f"当前可疑点:{state},已尝试:{history}")
action = llm(f"基于以上思考,下一步用什么工具?\n工具列表:" +
"[code_search, read_file, run_fuzzer, write_poc]")
observation = execute(action)
state.update(observation)
核心工具是这几个:
- code_search:类 grep,但支持语义查询
- read_file:读源码片段,带上下文窗口管理
- run_fuzzer:调 libFuzzer/AFL,跑测试用例
- crash_triage:对崩溃做 dedup + 优先级排序
prompt 设计这块 GitHub 没说太细,但博客里点了一句:让 Agent 模拟「经验丰富的审计员」的思维链,而不是直接问「这里有 bug 吗」。区别在于——前者会先建威胁模型,再针对性检查;后者会陷入幻觉,凭空报漏洞。
开源地址和复现成本
仓库地址:博客里给的是 GitHub 旗下 Augments 项目(原标题里的「open source AI security agent」对应的工具)。具体仓库名 GitHub Blog 那篇文章里有链接,这里就不重复贴了——免得过几个月链接失效误导人。
本地跑起来要准备:
- GPU:推理用,16GB 显存起步(对应 7B-13B 模型);或者直接调 OpenAI / Anthropic API
- API key:Claude / GPT 至少一个
- 代码目标:一个中型 C/C++ 项目(Android 系统服务层大概几十万行 C++)
- 时间:复现单个漏洞,完整跑下来大概几小时到一天,取决于 fuzzing 时间
注意一个坑:Agent 的「价值」在「推理成本 vs 人工成本」的平衡。如果只是扫描一个 npm 包,传统 SAST 更快。Agent 适合代码量大、漏洞模式复杂、人工审计需要慢频的场景。
和 Burp Suite / CodeQL 的对比
| 维度 | CodeQL | Burp Suite | AI Agent |
|---|---|---|---|
| 适用场景 | 静态分析,规则驱动 | Web 渗透测试 | 系统级审计,逻辑漏洞 |
| 速度 | 快(分钟级) | 交互式 | 慢(小时-天级) |
| 漏报率 | 高(规则匹配不到) | 中 | 低(推理覆盖) |
| 误报率 | 中 | 低 | 中-高(LLM 幻觉) |
| 需要的专业知识 | 写 QL 查询 | 渗透测试经验 | prompt + 安全背景 |
AI Agent 不是替代品,是补充。规则引擎搞不定的逻辑漏洞,Agent 有戏;Agent 搞不定的已知 pattern,规则引擎秒出。
GitHub 这事有意思的点在于:他们没有说「AI 取代安全研究员」,而是定位成放大器——让一个研究员能干以前 5 个人的活。
我的判断:这次不一样的地方
以前也有 AI 挖漏洞的工作:Google 的 OSS-Fuzz 用 LLM 生成 seed,Facebook(现在 Meta)做过 CVE-Bench 评测,学术界一堆 paper。
但这次三件齐全:开源 + 真实 CVE + 大厂背书。这是第一次。
对安全行业的含义我倾向于两个:
短期(1-2 年):中小公司会用类似工具做内部审计。成本结构变了——以前请一个安全研究员年成本 50 万,现在 Agent + 一个人 30 万,产出更高。头部安全咨询公司的初级岗位会缩水。
长期(3-5 年):开源生态会冒出 10-20 个类似的「垂直 Agent」——专攻密码学审计、智能合约审计、二进制逆向。LLM 推理能力继续提升的话,漏洞发现的边际成本会趋近于零。
一个反共识的观察:这件事对开源软件生态是利好。以前中小项目的维护者没钱做安全审计,现在能用 Agent 跑一遍,至少把低级漏洞清掉。AOSP 这类大项目反而会受益更多——24 个漏洞里大部分可能影响下游所有厂商。
不确定性:GitHub 没公布漏洞细节和复现步骤的全集,我没法独立验证这 24 个 CVE 的严重程度分布。如果其中超过一半是「低危/信息泄漏」类,那这件事的颠覆性就要打折扣。建议等 NVD 上 CVE 记录全部公开再做结论。
来源:
- How we found 24 Android vulnerabilities using our open source AI security agent — GitHub Blog
- Hacker News 讨论