觀點

AI 遞迴自我改進離我們還有多遠?兩位研究員的正面交鋒

Dwarkesh 最新一集找來前 METR 研究員 John Beren 與 Charlie 同台對談遞迴自我改進(RSi),HN 拿到 64 分、53 則留言,分歧比預期更大,而中間地帶雙方都刻意略過。

字級

Dwarkesh 這一集把兩個立場明顯對立的研究者拉到同一張桌子前——前 METR 研究員 John Beren 和研究者 Charlie,討論主題是迴自我改進(recursive self-improvement, RSi)。

HN 上 64 分、53 則留言,雖然不算頂流,留言區的品質卻比分數呈現的高出不少。Beren 出身 METR——那個專門為前沿模型做能力評估和「真實任務耗時」基準的機構,所以他對「AI 到底能做什麼」握有第一手資料。Charlie 的樂觀則來自不同的資訊源。

兩人吵的其實不是同一件事。這是整場辯論最容易誤讀的地方。

這場對線究竟在爭什麼

三個核心問題:

  1. AI 能不能在最少人類工程師介入的前提下,持續把自己改得更強?
  2. 如果可以,這條曲線是平滑上升還是會突然跳變?
  3. 我們距離「AI 自己寫出下一代 AI」這個終點還有幾年?

Beren 和 Charlie 的分歧主要落在第 2 和第 3 個問題。Beren 從評估基準出發,認為現有系統在真實長任務上的失敗模式非常穩定——同類型的錯誤會反覆出現,所谓的「自我改進」多半只是單點優化,還談不上系統級躍遷。Charlie 則傾向把算力曲線和近期模型在編碼、研究輔助任務上的進展做外推,認為自動化研究工程(AE)已經逼近某個臨界點。

Beren 的悲觀論據

Beren 在 METR 看過太多智慧代理在「真實任務」上翻車。METR 的 HCAST(真實軟體工程任務)基準跑下來,前沿模型在許多 1–2 小時的任務上完成率還不到 50%。失敗模式很「工程化」,不是「差一點」:

  • 上下文視窗一拉長就開始忘東忘西、繞圈子
  • 工具呼叫看起來正確,實際執行語意卻常常跑偏
  • 複雜任務中只要某一步出錯,後面全盤崩潰,缺乏自我修正能力

從評估者的角度看,這代表模型的「自我修正」能力並沒有隨規模同步提升。GPT-4 到 GPT-5 這種跳躍,能力確實有,但成長曲線更像「覆蓋率提升」,而非「單點錯誤率下降」。

Beren 隱含的論點是:遞迴自我改進至少需要一個閉環穩定的修正機制。現在的模型沒有這個閉環——它們更像一位非常能幹的實習生,需要有人盯場。

Charlie 的反切入點

Charlie 的樂觀依據不太一樣:

  • 算力曲線仍在指數攀升,推理端的成本下降速度甚至比訓練端更快
  • 近期模型在 SWE-bench Verified、Terminal-Bench 等編碼基準上進步明顯
  • 「自動化研究工程」已經能處理文獻回顧、修改 ML 程式碼、跑小規模實驗

Charlie 的核心論點是:RSi 不需要 AGI 等級的能力,只需要模型能穩定跑完「寫程式—跑實驗—看結果—改程式」這個循環。在狹窄領域(例如 ML 論文復現、特定類型的演算法優化),這個循環某種程度上已經跑起來了。

他大概會說:你把標準訂得太高了。RSi 不需要模型能思考存在主義,只要它能在 reward signal 清晰的環境裡迭代就夠了。

被忽略的中間地帶

雙方吵得最的地方其實是定義。Beren 心中想的是「AI 不靠人類工程師就把自己改強」,Charlie 想的是「在特定領域裡 AI 已經能完成端到端的改進循環」。這兩個不是同一個問題。

舉幾個已經在跑的「中間地帶」例子:

  • AlphaEvolve(DeepMind 那個):在演算法發現這種狹窄任務上,模型結合進化搜尋已經能產出超越人工設計的成果。這算不算 RSi?算的話,它其實已經發生了。
  • AutoML 流水線:AutoGluon、FLAML 這類工具,某種程度上就是「機器自己選模型、自己調參」。它不需要 LLM,但確實是 RSi 的雛形。
  • 程式碼 Agent 自己寫測試:Devin、Cursor 等工具在某些工作流中已能做到「寫程式碼 → 跑測試 → 看 failure → 改程式碼」,但每一步背後仍有人類監督。

我的判斷:RSi 不是 0/1 開關,是漸進式光譜。我們早就在狹窄場景裡實現了部分 RSi,只是沒人願意稱它為「遞自我改進」,因為一旦這樣叫,等於宣告 AGI 已經站在門口。

HN 留言區值得撈的幾條

留言區的分歧沒有 Podcast 裡那麼大,但有幾個切入角度值得記下:

  • 一則高讚留言提到:RLHF/RL 的訓練環境本身可能就是 RSi 的雛形——獎勵模型由人定義,但策略優化是機器自己跑的。如果把「人類給 reward signal」視為外部輸入,那 RLHF 已經算是半自動化研究工程了。
  • 另一則從資訊理論角度切入:遞迴自我改進的瓶頸不是智慧,而是資訊通道。模型能讀到關於自身行為的資料(trace、log、reward)有限,改進速度被這個通道卡死。
  • 也有人指出 RSi 和「AI 加速 AI 研究」是兩回事。前者是模型直接修改自己的權重,後者是模型協助人類研究員更快打造更好的模型。後者已經在發生(不少 ML 論文的實驗段落已是 AI 輔助撰寫),前者則還沒影子。

Podcast 原始連結:https://www.dwarkesh.com/p/john-beren-charlie

編輯思考

這場辯論對 2026 年的從業者真正有用的地方在於:RSi 的時間線不是預測問題,而是工程問題。

我們該問的不是「AI 會不會遞迴自我改進」,而是「在哪一層發生、由誰觸發」。把問題拆開來看:

  • 層:是權重層(直接改自己的參數)、程式碼層(修改實現自己的程式碼)、還是環境層(改變訓練自己的 reward)?每一層的瓶頸完全不同。
  • 發者:是人類研究員、AI Agent、還是一個閉環流水線?Beren 和 Charlie 各自預設了不同的觸發者,所以永遠吵不到一塊。
  • 評估標準:用什麼指標判斷「改進」?SWE-bench?內部 benchmark?真實用戶研究?指標不同,結論可以完全相反。

反共識一點的判斷:多數關於 RSi 的爭論其實是在爭定義,而不是在爭事實。下次再看到「X 說 AI 三年內能自我改進,Y 說十年內不可能」,先問他們在吵哪一層。

不確定的部分:RSi 的中間地帶(AlphaEvolve 這類)究竟算不算「真正的」遞迴自我改進,目前沒有公認定義。若 DeepMind 下次發布把 AlphaEvolve 命名為 "first practical recursive self-improvement",整個論場會立刻重新洗牌。這件事我無法預測。

來源: https://www.dwarkesh.com/p/john-beren-charlie