實戰

Claude 破解兩個黑洞物理開放問題:AI 科研走到哪一步了?

Anthropic 宣稱 Claude 為兩個黑洞物理開放問題提出解法,但目前主要依據仍是廠商自行發布的研究文章。本文從來源、可重現性與同行審查切入,整理國內 AI 科研團隊可立即採用的驗證流程。

字級

Anthropic 發文稱 Claude 為兩個黑洞物理開放問題提出解法,相關 Hacker News 討論累積 177 points、47 則留言。不過,廠商文章並不等於同行審查。要判斷這項進展的實際分量,仍須檢視整條驗證鏈走到哪一步。

Claude 破解兩個黑洞開放問題:AI 科研走到哪一步了?

Anthropic 在官方研究專欄發布文章,標題是 “Claude solves two open problems in the physics of black holes”。

這次不是模型跑分更新,也沒有新增 API 參數。文章被歸類為 AI for Science case-study:Claude 參與基礎科學研究,並為兩個開放問題提出解法。

相關討論登上 Hacker News 首頁。頁面顯示 177 points、47 則留言。

熱度確實存在,但證據等級必須分開評估。由於文章由 Anthropic 自行發布,這屬於廠商研究材料,不是期刊論文,也不是第三方機構的同行審查結果。

因此,問題不在於「Claude 到底能不能做科研」,更現實的問題是:它產生的結果,已經走到驗證鏈的哪一步?

原始資料:

由 Anthropic 自己發布,並非第三方審查

先看來源。

文章位於 anthropic.com/research 官方研究專欄,發布者就是模型廠商 Anthropic。Anthropic 同時扮演三個角色:

  1. 主張 Claude 解決了兩個黑洞物理開放問題。
  2. 展示 Claude 的研究過程與產出。
  3. 解釋這些結果為何成立。

這不代表結果必然有問題。Google DeepMind 的 AlphaFold 論文同樣由研究團隊自行發布,之後才接受外部檢驗與資料庫驗證。

但證據聲明必須與證據來源分開看待。

「廠商發布的研究文章」能說明 Anthropic 做過什麼,以及它願意公開多少細節;卻不能自動等同於「這個問題已經獲得學界確認並解決」。

同行審查通常還會檢查:

  • 推導過程是否遺漏假設;
  • 數值結果是否經由獨立程式碼重現;
  • 新結論是否與既有文獻衝突;
  • 作者是否採用較有利的基線或提示條件;
  • 評估標準是否在實驗前就已確定。

官方文章可能涵蓋其中部分項目,但閱讀時仍須尋找明確證據。Anthropic 列出完整推導,不代表推導已由第三方複核;提供 benchmark,也不代表 benchmark 能反映真實科研流程。

HN 上的數據同樣值得拆解。

177 points、47 則留言。留言數明顯低於 points,通常表示不少讀者認為文章值得點開,卻未在討論區深入探究。有人將其視為技術里程碑,也有人關注作者身分、使用了哪些工具,以及結論能否重現。

因此,這組數字能證明事件受到關注,卻不能證明結論獲得認同。

「解決開放問題」其實有幾種層次

「解決開放問題」並非二元狀態。

可將證據分成四個層級。

第一層:提出候選解法

模型找到一條看似合理的新路徑。

例如,選定新的座標變換,推導出一組方程式,並給出可能的解析式。這一步具有價值,但「開放問題」通常意味著既有方法在某些條件下失效,或解決問題需要跨越多個學科的工具。

候選解法首先是一項研究假設。

第二層:完成自洽檢查

候選解法必須通過最基本的內部檢驗:

  • 量綱是否一致;
  • 在極限情況下能否回到已知結果;
  • 符號與假設是否前後一致;
  • 推導能否以 SymPy、Mathematica 或 CAS 重新運算;
  • 數值結果是否符合誤差範圍。

這一步比「答案看起來合理」更強,但檢查仍可能源自同一套思路。由模型自行驗證自己的結果,並不算真正的獨立驗證。

第三層:獨立重現

第三方取得論文、提示設定與中間產物後,在不看原作者結論的情況下重新執行。

可重現不只是得到相同的小數位。更嚴格的做法,是使用不同的軟體、隨機種子與數值方法。如果結果只能在某一套特定工具鏈中成立,問題依然存在。

第四層:進入領域驗證

研究者確認問題定義無誤、解法確實解決原先的開放點,並判斷它是否帶來新的理論結果。

到了這一階段,才比較接近「解決開放問題」的學界定義。

讀完 Anthropic 的文章後,不能只看結論摘要,而應逐項確認:

  1. 兩個問題分別是什麼,原本卡在哪裡?
  2. Claude 取代了哪一步,又保留了哪一步?
  3. 推導與數值運算由哪些工具完成?
  4. 是否提供完整的提示詞、執行軌跡與程式碼?
  5. 是否與既有解析結果進行交叉驗證?
  6. 獨立團隊能否從原始問題重新得到相同結果?

若缺少這些資訊,討論很容易退化成「相信廠商」或「否定廠商」的表態之爭。

AI for Science 的真正瓶頸不在算力

基礎模型擅長處理以文本形式呈現的知識。

給它論文,它能摘要;給它公式,它能改寫;給它錯誤訊息,它能定位可疑程式碼。黑洞物理正好能呈現這種能力邊界。

但科研不只是從問題推到答案,還有幾個更困難的環節。

提出正確的問題

Claude 可以列出研究缺口,卻未必知道哪個缺口值得投入。

一個開放問題可能過於寬泛。真正可處理的子問題,必須與既有理論、可用資料及驗證工具相互配合。優秀研究者不會直接接受模型列出的十個方向,而是判斷其中哪一個值得投入三個月。

選擇正確的座標系

同一個物理問題換一種座標描述,方程式可能變得異常複雜,甚至掩蓋原有結構。

研究者通常依靠長期累積的物理直覺,選擇變數、邊界條件與近似方式。模型可以提出選項,但它是否真正理解某個座標系為何更容易處理問題?

察覺結果不對勁

最危險的情況,不是模型算出明顯錯誤的答案,而是交出一套計算完整、形式漂亮,實際意義卻有誤的結果。

這要求系統能提出反例:

  • 極限情況是否與已知理論一致?
  • 換一種獨立方法,是否會得到不同答案?
  • 結論是否產生可觀測或可模擬的效應?
  • 參數是否只在一組特殊值下成立?

這類檢查取決於問題結構,不只依賴語言機率。

因此,AI for Science 的瓶頸並不是「再接上一個更大的模型」。更現實的問題是:

  • 如何把模型輸出轉成可執行的證明;
  • 如何自動選擇驗證器;
  • 如何記錄假設與中間狀態;
  • 如何讓不同路徑彼此質疑;
  • 如何把失敗樣本累積成評測集。

在這個案例中,Claude 比較像研究助理:能提出解法、整理推導,也能協助察覺異常。它能否勝任研究負責人,目前還不能只憑單一案例下定論。

國內 AI 科研團隊可採用的三項行動

這起事件最值得借鑑的,不是兩個具體答案,而是模型進入科研流程後的工程方法。

1. 將模型接入符號推導的驗證閉環

不要停在聊天視窗。

模型產生的每個關鍵等式,都應進入符號運算環境,再由程式檢查可化簡性、邊界條件與數值一致性。

以下是可執行的最小範例,使用 SymPy 檢查等價變換是否成立:

from sympy import symbols, simplify, tan, sec, sin, cos

x = symbols("x", real=True)

left = tan(x) * cos(x)
right = sin(x)

difference = simplify(left - right)
assert difference == 0

print("identity_check:", difference)

這只能驗證一個恆等式,不能證明黑洞理論;但它呈現了閉環的基本結構:模型提出方案,程式負責驗證,失敗便回傳給模型修正。

正式環境還要補上三件事:

  • 固定隨機種子與軟體版本;
  • 快取每一步的輸入、輸出與耗時;
  • 將驗證失敗歸因至具體步驟,而不是要求模型重寫全文。

2. 記錄中間推導軌跡以供稽核

只有「最終答案」並不夠。科研需要知道答案從何而來。

至少應保存:

  • 原始問題與限制條件;
  • 使用過的論文與引用;
  • 模型提出的候選路徑;
  • 遭排除的方案及其原因;
  • 符號推導與數值輸出;
  • 人工修改紀錄;
  • 每項結論對應的證據。

保存軌跡不是為了鼓勵模型揭露內部思維,而是為了稽核可核驗的中間產物:公式、程式碼、測試、假設與來源。

高風險研究還應將軌跡轉換為狀態機。

Problem -> Candidate -> Formalize -> Verify
                      |          |
                      |          +-> Failed -> Revise
                      +-> Literature Check -> Independent Test -> Human Review

如此才能掌握失敗發生在哪一層。

3. 讓模型只擔任「第二作者」,並保留反例清單

在現階段,直接讓模型身處「第一作者」的位置,風險過高。

較穩妥的做法,是讓它負責候選方案生成、文獻交叉檢查與重現實驗;人類作者則保留問題定義、關鍵假設與最終判斷權。

每次產出都應附上一份反例清單:

- 已驗證:量綱一致
- 已驗證:極限情況下退化到已知結果
- 待驗證:獨立數值方法
- 待驗證:跨座標系一致性
- 已知反例:參數邊界附近連續性異常
- 人工決策:暫不擴大結論範圍

反例不應只藏在附錄裡。團隊必須用它決定下一輪實驗。

編輯觀察

這起事件的重要性,不只因 Claude 為兩個黑洞物理開放問題提出候選解法,而是基礎模型開始進入需要符號推導、工具呼叫與長期驗證的基礎研究流程。它改變的不是某一道題目,而是研究分工:模型可以擴大候選解法與搜尋空間,人類仍須定義問題、選擇驗證器,並承擔結論責任。

我的判斷較為保守。Claude 更適合扮演「可審查的研究助理」,目前暫不適合獨立擔任研究負責人。若第三方能以不同程式碼與數值方法重現結果,再由領域專家檢查前提與邊界,AI for Science 才算跨越「能交出漂亮答案」與「能承擔科研結論」之間的門檻。

這次與 2023 年 AlphaFold 刷屏的情況不同。AlphaFold 之後建立了結構預測資料庫、PDB 條目與實際實驗等外部證據鏈;這次主要依賴 Anthropic 的研究文章,外部檢查較少。177 points 對上 47 則留言,也顯示傳播熱度走在技術審查之前。

目前仍無法只憑官方文章判斷兩個結果是否已達到學界認可的「解決」標準。下一步應留意第三方重現、專家逐行審稿,以及相關成果進入黑洞物理論文後的引用與爭論。

來源

https://www.anthropic.com/research/claude-black-hole-physics

Hacker News 討論:https://news.ycombinator.com/item?id=50563148

來源: https://www.anthropic.com/research/claude-black-hole-physics