Anthropic 發文稱 Claude 為兩個黑洞物理開放問題提出解法,相關 Hacker News 討論累積 177 points、47 則留言。不過,廠商文章並不等於同行審查。要判斷這項進展的實際分量,仍須檢視整條驗證鏈走到哪一步。
Claude 破解兩個黑洞開放問題:AI 科研走到哪一步了?
Anthropic 在官方研究專欄發布文章,標題是 “Claude solves two open problems in the physics of black holes”。
這次不是模型跑分更新,也沒有新增 API 參數。文章被歸類為 AI for Science case-study:Claude 參與基礎科學研究,並為兩個開放問題提出解法。
相關討論登上 Hacker News 首頁。頁面顯示 177 points、47 則留言。
熱度確實存在,但證據等級必須分開評估。由於文章由 Anthropic 自行發布,這屬於廠商研究材料,不是期刊論文,也不是第三方機構的同行審查結果。
因此,問題不在於「Claude 到底能不能做科研」,更現實的問題是:它產生的結果,已經走到驗證鏈的哪一步?
原始資料:
- Anthropic 研究文章:https://www.anthropic.com/research/claude-black-hole-physics
- Hacker News 討論:https://news.ycombinator.com/item?id=50563148
由 Anthropic 自己發布,並非第三方審查
先看來源。
文章位於 anthropic.com/research 官方研究專欄,發布者就是模型廠商 Anthropic。Anthropic 同時扮演三個角色:
- 主張 Claude 解決了兩個黑洞物理開放問題。
- 展示 Claude 的研究過程與產出。
- 解釋這些結果為何成立。
這不代表結果必然有問題。Google DeepMind 的 AlphaFold 論文同樣由研究團隊自行發布,之後才接受外部檢驗與資料庫驗證。
但證據聲明必須與證據來源分開看待。
「廠商發布的研究文章」能說明 Anthropic 做過什麼,以及它願意公開多少細節;卻不能自動等同於「這個問題已經獲得學界確認並解決」。
同行審查通常還會檢查:
- 推導過程是否遺漏假設;
- 數值結果是否經由獨立程式碼重現;
- 新結論是否與既有文獻衝突;
- 作者是否採用較有利的基線或提示條件;
- 評估標準是否在實驗前就已確定。
官方文章可能涵蓋其中部分項目,但閱讀時仍須尋找明確證據。Anthropic 列出完整推導,不代表推導已由第三方複核;提供 benchmark,也不代表 benchmark 能反映真實科研流程。
HN 上的數據同樣值得拆解。
177 points、47 則留言。留言數明顯低於 points,通常表示不少讀者認為文章值得點開,卻未在討論區深入探究。有人將其視為技術里程碑,也有人關注作者身分、使用了哪些工具,以及結論能否重現。
因此,這組數字能證明事件受到關注,卻不能證明結論獲得認同。
「解決開放問題」其實有幾種層次
「解決開放問題」並非二元狀態。
可將證據分成四個層級。
第一層:提出候選解法
模型找到一條看似合理的新路徑。
例如,選定新的座標變換,推導出一組方程式,並給出可能的解析式。這一步具有價值,但「開放問題」通常意味著既有方法在某些條件下失效,或解決問題需要跨越多個學科的工具。
候選解法首先是一項研究假設。
第二層:完成自洽檢查
候選解法必須通過最基本的內部檢驗:
- 量綱是否一致;
- 在極限情況下能否回到已知結果;
- 符號與假設是否前後一致;
- 推導能否以 SymPy、Mathematica 或 CAS 重新運算;
- 數值結果是否符合誤差範圍。
這一步比「答案看起來合理」更強,但檢查仍可能源自同一套思路。由模型自行驗證自己的結果,並不算真正的獨立驗證。
第三層:獨立重現
第三方取得論文、提示設定與中間產物後,在不看原作者結論的情況下重新執行。
可重現不只是得到相同的小數位。更嚴格的做法,是使用不同的軟體、隨機種子與數值方法。如果結果只能在某一套特定工具鏈中成立,問題依然存在。
第四層:進入領域驗證
研究者確認問題定義無誤、解法確實解決原先的開放點,並判斷它是否帶來新的理論結果。
到了這一階段,才比較接近「解決開放問題」的學界定義。
讀完 Anthropic 的文章後,不能只看結論摘要,而應逐項確認:
- 兩個問題分別是什麼,原本卡在哪裡?
- Claude 取代了哪一步,又保留了哪一步?
- 推導與數值運算由哪些工具完成?
- 是否提供完整的提示詞、執行軌跡與程式碼?
- 是否與既有解析結果進行交叉驗證?
- 獨立團隊能否從原始問題重新得到相同結果?
若缺少這些資訊,討論很容易退化成「相信廠商」或「否定廠商」的表態之爭。
AI for Science 的真正瓶頸不在算力
基礎模型擅長處理以文本形式呈現的知識。
給它論文,它能摘要;給它公式,它能改寫;給它錯誤訊息,它能定位可疑程式碼。黑洞物理正好能呈現這種能力邊界。
但科研不只是從問題推到答案,還有幾個更困難的環節。
提出正確的問題
Claude 可以列出研究缺口,卻未必知道哪個缺口值得投入。
一個開放問題可能過於寬泛。真正可處理的子問題,必須與既有理論、可用資料及驗證工具相互配合。優秀研究者不會直接接受模型列出的十個方向,而是判斷其中哪一個值得投入三個月。
選擇正確的座標系
同一個物理問題換一種座標描述,方程式可能變得異常複雜,甚至掩蓋原有結構。
研究者通常依靠長期累積的物理直覺,選擇變數、邊界條件與近似方式。模型可以提出選項,但它是否真正理解某個座標系為何更容易處理問題?
察覺結果不對勁
最危險的情況,不是模型算出明顯錯誤的答案,而是交出一套計算完整、形式漂亮,實際意義卻有誤的結果。
這要求系統能提出反例:
- 極限情況是否與已知理論一致?
- 換一種獨立方法,是否會得到不同答案?
- 結論是否產生可觀測或可模擬的效應?
- 參數是否只在一組特殊值下成立?
這類檢查取決於問題結構,不只依賴語言機率。
因此,AI for Science 的瓶頸並不是「再接上一個更大的模型」。更現實的問題是:
- 如何把模型輸出轉成可執行的證明;
- 如何自動選擇驗證器;
- 如何記錄假設與中間狀態;
- 如何讓不同路徑彼此質疑;
- 如何把失敗樣本累積成評測集。
在這個案例中,Claude 比較像研究助理:能提出解法、整理推導,也能協助察覺異常。它能否勝任研究負責人,目前還不能只憑單一案例下定論。
國內 AI 科研團隊可採用的三項行動
這起事件最值得借鑑的,不是兩個具體答案,而是模型進入科研流程後的工程方法。
1. 將模型接入符號推導的驗證閉環
不要停在聊天視窗。
模型產生的每個關鍵等式,都應進入符號運算環境,再由程式檢查可化簡性、邊界條件與數值一致性。
以下是可執行的最小範例,使用 SymPy 檢查等價變換是否成立:
from sympy import symbols, simplify, tan, sec, sin, cos
x = symbols("x", real=True)
left = tan(x) * cos(x)
right = sin(x)
difference = simplify(left - right)
assert difference == 0
print("identity_check:", difference)
這只能驗證一個恆等式,不能證明黑洞理論;但它呈現了閉環的基本結構:模型提出方案,程式負責驗證,失敗便回傳給模型修正。
正式環境還要補上三件事:
- 固定隨機種子與軟體版本;
- 快取每一步的輸入、輸出與耗時;
- 將驗證失敗歸因至具體步驟,而不是要求模型重寫全文。
2. 記錄中間推導軌跡以供稽核
只有「最終答案」並不夠。科研需要知道答案從何而來。
至少應保存:
- 原始問題與限制條件;
- 使用過的論文與引用;
- 模型提出的候選路徑;
- 遭排除的方案及其原因;
- 符號推導與數值輸出;
- 人工修改紀錄;
- 每項結論對應的證據。
保存軌跡不是為了鼓勵模型揭露內部思維,而是為了稽核可核驗的中間產物:公式、程式碼、測試、假設與來源。
高風險研究還應將軌跡轉換為狀態機。
Problem -> Candidate -> Formalize -> Verify
| |
| +-> Failed -> Revise
+-> Literature Check -> Independent Test -> Human Review
如此才能掌握失敗發生在哪一層。
3. 讓模型只擔任「第二作者」,並保留反例清單
在現階段,直接讓模型身處「第一作者」的位置,風險過高。
較穩妥的做法,是讓它負責候選方案生成、文獻交叉檢查與重現實驗;人類作者則保留問題定義、關鍵假設與最終判斷權。
每次產出都應附上一份反例清單:
- 已驗證:量綱一致
- 已驗證:極限情況下退化到已知結果
- 待驗證:獨立數值方法
- 待驗證:跨座標系一致性
- 已知反例:參數邊界附近連續性異常
- 人工決策:暫不擴大結論範圍
反例不應只藏在附錄裡。團隊必須用它決定下一輪實驗。
編輯觀察
這起事件的重要性,不只因 Claude 為兩個黑洞物理開放問題提出候選解法,而是基礎模型開始進入需要符號推導、工具呼叫與長期驗證的基礎研究流程。它改變的不是某一道題目,而是研究分工:模型可以擴大候選解法與搜尋空間,人類仍須定義問題、選擇驗證器,並承擔結論責任。
我的判斷較為保守。Claude 更適合扮演「可審查的研究助理」,目前暫不適合獨立擔任研究負責人。若第三方能以不同程式碼與數值方法重現結果,再由領域專家檢查前提與邊界,AI for Science 才算跨越「能交出漂亮答案」與「能承擔科研結論」之間的門檻。
這次與 2023 年 AlphaFold 刷屏的情況不同。AlphaFold 之後建立了結構預測資料庫、PDB 條目與實際實驗等外部證據鏈;這次主要依賴 Anthropic 的研究文章,外部檢查較少。177 points 對上 47 則留言,也顯示傳播熱度走在技術審查之前。
目前仍無法只憑官方文章判斷兩個結果是否已達到學界認可的「解決」標準。下一步應留意第三方重現、專家逐行審稿,以及相關成果進入黑洞物理論文後的引用與爭論。
來源
https://www.anthropic.com/research/claude-black-hole-physics
Hacker News 討論:https://news.ycombinator.com/item?id=50563148