Anthropic 发文称 Claude 给出两个黑洞物理开放问题的解法,相关 Hacker News 讨论有 177 points、47 条评论。但厂商文章不是同行评审。判断进展,要看验证链走到哪一步。
Anthropic 在官方研究栏目发布文章,标题是 “Claude solves two open problems in the physics of black holes”。
这次不是模型跑分更新,也没有新的 API 参数。文章被归类为一个 AI for Science case-study:Claude 参与基础科学研究,并给出两个开放问题的解法。
相关讨论登上 Hacker News 首页。页面显示 177 points、47 条评论。
热度是真的。证据等级也要单独看。因为发布文章的是 Anthropic 自己,这属于厂商研究材料,不是期刊论文,也不是第三方机构的同行评审结果。
所以问题不是“Claude 到底能不能做科研”。更实际的问题是:它产出的结果,走到了验证链的哪一步?
原始材料:
- Anthropic 研究文章:https://www.anthropic.com/research/claude-black-hole-physics
- Hacker News 讨论:https://news.ycombinator.com/item?id=50563148
Anthropic 自己发的,不是第三方评审
先看来源。
文章位于 anthropic.com/research 官方研究栏目,发布方就是模型厂商 Anthropic。Anthropic 同时扮演了三个角色:
- 提出 Claude 完成了两个黑洞物理开放问题。
- 展示 Claude 的研究过程和产出。
- 解释这些结果为什么成立。
这不意味着结果必然有问题。Google DeepMind 的 AlphaFold 论文也由研究团队自己发布,后续再接受外部检验和数据库验证。
但证据声明必须与证据来源分开。
“厂商发布的研究文章”能够说明 Anthropic 做了什么,以及它愿意公开多少细节。它不能自动等价于“这个问题已经被学界确认解决”。
同行评审通常还会检查:
- 推导中是否遗漏假设;
- 数值结果是否经过独立代码复现;
- 新结论与既有文献是否冲突;
- 作者是否使用更有利的基线或提示条件;
- 评价标准是否在实验前确定。
官方文章可以包含其中一部分,但阅读时要找明确证据。Anthropic 写了完整推导,不代表推导已经经过第三方复核。给出了 benchmark,也不代表 benchmark 能代表真实科研流程。
HN 上的数据也值得拆开看。
177 points、47 条评论。评论数明显低于 points。这通常说明不少读者认可它值得点开,却没有在讨论区深究。有人把它当成技术里程碑,也有人关心作者是谁、用了哪些工具、结论能否复现。
所以,这组数字能证明事件受到关注,不能证明结论得到认可。
“解决开放问题”有几种含义
“解决开放问题”不是一个二元状态。
我会把证据分成四档。
第一档:给出候选解法
模型找到一条看起来合理的新路线。
例如,选定新的坐标变换,推出一组方程,给出可能的解析表达式。这一步有价值,但“开放问题”通常意味着已有方法在某些条件下失效,或问题需要跨多个学科工具。
候选解法首先是一个研究假设。
第二档:完成自洽检查
候选解法要通过最基本的内部检验:
- 量纲是否一致;
- 极限情况下能否回到已知结果;
- 符号和假设是否前后一致;
- 推导能否用 SymPy、Mathematica 或 CAS 重新计算;
- 数值结果是否符合误差范围。
这一步比“答案看起来对”强,但检查仍可能来自同一条思路。模型自己证明自己,不算真正独立。
第三档:独立复现
第三方拿到论文、提示配置和中间产物后,在不看原作者结论的情况下重跑。
可复现不只是得到相同小数。更严格的做法是使用不同软件、随机种子和数值方法。如果结果只在一个特定工具链里成立,问题仍然存在。
第四档:进入领域验证
研究者确认问题定义无误,解法解决了原来的开放点,并判断它是否带来新的理论结果。
到了这一档,才比较接近“解决开放问题”的学界含义。
读完 Anthropic 的文章后,不能只看结论摘要。要逐项确认:
- 两个问题分别是什么,原先卡在哪里?
- Claude 替代了哪一步,又保留了哪一步?
- 推导和数值计算由什么工具完成?
- 是否给出完整提示词、轨迹和代码?
- 有没有和既有解析结果做交叉验证?
- 独立团队能否从原始问题重新得到同一结果?
如果这些信息不足,讨论很容易退化成“相信厂商”或“否定厂商”的表态。
AI for Science 的真正瓶颈不是算力
基础模型擅长处理文本形式化的知识。
给它论文,它能总结。给它公式,它能改写。给它报错,它能定位可疑代码。黑洞物理正好能展示这种能力边界。
但科研不只是从问题推到答案。还有几个更难的环节。
提对问题
Claude 可以列出研究缺口,却未必知道哪个缺口值得做。
一个开放问题可能表述得过于宽泛。真正可做的子问题,需要与现有理论、可用数据和验证工具对齐。优秀研究者不是接受模型列出的十个方向,而是判断其中哪一个值得投入三个月。
选对坐标系
同一个物理问题,换一种坐标描述,方程会变得异常复杂,甚至掩盖结构。
研究者常凭长期形成的物理直觉选择变量、边界条件和近似方式。模型可以提出选项,但它是否理解某个坐标系为什么更容易工作?
发现结果不对劲
最危险的不是模型算出一个明显错误的答案,而是给出一个计算过程完整、形式漂亮、实际含义却错的结果。
这要求系统能提出反例:
- 极限情况与已知理论是否一致?
- 换一个独立方法会不会得到不同答案?
- 结论有没有产生可观测或可模拟效应?
- 参数是不是只在一组特殊值下成立?
这类检查依赖问题结构,不只是语言概率。
因此,AI for Science 的瓶颈不是“再接一个更大的模型”。更现实的问题是:
- 怎么把模型输出转成可执行证明;
- 怎么自动选择验证器;
- 怎么记录假设与中间状态;
- 怎么让不同路线互相攻击;
- 怎么把失败样本沉淀成评测集。
Claude 在这个案例里更像研究助理:能提出解法、整理推导,也能辅助发现异常。它是否可以充当研究负责人,现在还不能从一个案例得出答案。
对国内 AI 科研团队的三个可复制动作
这件事最值得复制的,不是两个具体答案,而是模型进入科研流程后的工程方式。
1. 把模型接进符号推导验证闭环
不要停在聊天框。
模型生成的每个关键等式都应进入符号计算环境,再由程序检查可化简性、边界条件和数值一致性。
下面是一个可运行的最小示例,用 SymPy 检查等价变换是否成立:
from sympy import symbols, simplify, tan, sec, sin, cos
x = symbols("x", real=True)
left = tan(x) * cos(x)
right = sin(x)
difference = simplify(left - right)
assert difference == 0
print("identity_check:", difference)
这只能验证一个恒等式,不能证明黑洞理论。但它展示了闭环的基本结构:模型提议,程序验证,失败就返回给模型修正。
生产环境还要增加三件事:
- 固定随机种子和软件版本;
- 缓存每一步输入、输出与耗时;
- 将验证失败归因到具体步骤,而不是让模型重写全文。
2. 记录中间推理轨迹做审计
“最终答案”不够。科研需要知道答案从哪里来。
建议至少保存:
- 原始问题与约束;
- 使用过的论文和引用;
- 模型候选路径;
- 被放弃的方案及原因;
- 符号推导和数值输出;
- 人工修改;
- 每个结论对应的证据。
轨迹不是为了鼓励模型输出私有思维过程,而是为了审计可核验的中间产物:公式、代码、测试、假设和来源。
对高风险研究,还应把轨迹转成状态机。
Problem -> Candidate -> Formalize -> Verify
| |
| +-> Failed -> Revise
+-> Literature Check -> Independent Test -> Human Review
这样才能知道失败发生在哪一层。
3. 让模型只当“第二作者”,并保留反例清单
现阶段,把模型直接放在“第一作者”位置风险过高。
更稳妥的做法是让它承担候选生成、文献交叉检查和复现实验。人类作者保留问题定义、关键假设和最终判断权。
每次产出都附一张反例清单:
- 已验证:量纲一致
- 已验证:极限情况下退化到已知结果
- 待验证:独立数值方法
- 待验证:跨坐标系一致性
- 已知反例:参数边界附近连续性异常
- 人工决策:暂不扩大结论范围
反例不应该只藏在附录。团队要用它决定下一步实验。
编辑思考
这件事重要,不只是因为 Claude 给出了两个黑洞物理开放问题的候选解法,而是因为基础模型开始进入需要符号推导、工具调用和长期验证的基础研究流程。它影响的不是某一个题目,而是研究分工:模型可以扩大候选解法与搜索空间,人类仍要定义问题、选择验证器并承担结论责任。
我的判断偏保守。Claude 更适合做“可审查的研究助理”,暂时不适合独立充当研究负责人。第三方若能用不同代码和数值方法复现,再由领域专家检查前提与边界,AI for Science 才算跨过“能给出漂亮答案”到“能承担科研结论”之间的门槛。
这次与 2023 年 AlphaFold 刷屏不同。AlphaFold 后续有结构预测数据库、PDB 条目和实际实验等外部证据链。这次主要依赖 Anthropic 的研究文章,外部检查更少。177 points 对 47 条评论,也说明传播热度跑在了技术审查前面。
不确定的是,仅凭官方文章,我无法判断两个结果是否已达到学界认可的“解决”标准。下一步应盯住第三方复现、专家逐行审稿,以及相关结果进入黑洞物理论文后的引用与争论。
来源
https://www.anthropic.com/research/claude-black-hole-physics
Hacker News 讨论:https://news.ycombinator.com/item?id=50563148