事实证明，当前许多基于科学的LLM基准测试在答案上存在缺陷。纠正后，LLM基准测试分数显著上升。

# 物理学已死？| John Sous 原文来源：https://jsous.github.io/blogs/is-physics-dead/ *基于论文《前沿模型在物理学领域表现如何？专家复核揭示评测失效与基准近饱和现象》(https://arxiv.org/abs/2609.13009)，arXiv:2609.13009。感谢我的合著者Ali Ansari、Haoran Sun、Andy Zeyi Liu、Mark Jabbour、Lucas Baker和Arman Cohan，以及负责审核工作的耶鲁大学物理系教师和研究生们。* > *物理学已死。*——并非尼采所言 人工智能已向数学领域发起冲击。物理学又将如何？ 任何与前沿AI模型打过交道的人都知道，它们既能展现出惊人的推理能力，也会犯下同样令人错愕的错误与幼稚失误。在研究项目中，它们依然会偏离主线、做出前后矛盾的选择、遗忘既往成果，并且往往在了解机制后仍难以判断下一步有意义的研究方向。用一周时间让AI代理解决一个难题，你将同时体验这种双重特质：其知识广度令人敬畏，但将知识付诸实践的能力却似乎捉襟见肘。 继纳维-斯托克斯方程之后，AI在数学能力上的疑问似乎已有定论。但物理学因其更具模糊性的证明概念、与真实世界更多的交互，仍为人类保留着某些优势。最直观的是，当前基准测试表明前沿AI尚未达到研究生水平——物理学暂时还是安全的。 果真如此吗？ ## 基准测试的现状 从Artificial Analysis等热门平台的排行榜来看，物理学似乎是AI能力无尽进军中最后的堡垒之一。在研究级挑战基准CritPt上，GPT-5.6 Sol得分32%（最新发布的GPT-6 Astra也未见提升）。在《人类终极考试》的物理部分，它得分47%。这意味着即使是被宣布为通用人工智能的模型，研究生级别的物理题仍有一半做错。 表面上看，这种结果在情理之中，即使最新模型已能解答几乎任何分析性问题。物理学的核心并不在于执行计算。最困难的部分往往在于决定哪些计算至关重要，以及采用何种问题形式最为合理。 有则老笑话：若雇物理学家帮助乳品厂，他们首先会要求“假设奶牛是球体”。这则笑话揭示了一个深层真相：物理学家专注于寻找既能舍弃问题中几乎所有冗余、又能精确保留核心要素的理想化模型。例如1983年，Robert Laughlin着手解释分数量子霍尔效应。直接处理海量强相互作用电子的方案远超计算机能力。Laughlin反而猜测出具有正确对称性与极限行为的多电子波函数。他的猜想正确无误，并因此获得诺贝尔奖。另一个典范是Kenneth Wilson（同获诺贝尔奖）与Michael Fisher研究相变的精妙思路：他们通过四维空间展开来处理三维空间问题，在4-ε维度求解后令ε=1。这些不仅是计算过程，更体现了对“何种计算能揭示底层物理”的直觉判断——尽管可能牺牲某种形式的严谨性。 也许低排行榜分数意味着物理学仍超出最强模型的能力范围？我们是否依然安全？ ## 严谨的度量 为解释前沿模型在物理与数学基准上的表现差距，我们深入分析了模型失败的原因。不同于多数通过大规模统计差异来理解AI能力缺陷的基准研究，我们选择仔细审查每个问题。我们收集了AI答案被大量否决的题目，交由高水平物理学家（我出色的学生们！）重新核对评分。 坦白说，我们相当震惊。 ### 六大物理基准的复核前准确率与修正后准确率 浅色条为复核前分数，深色条为修正后分数。 所有基准测试中，我们发现大部分被否决的前沿模型答案实为误判，原因包括：评测流程将等价正确答案误判为错误，或基准题目本身存在缺陷。我们发现参考答案中存在错误运算、因关键信息缺失导致问题陈述不完整，以及结果依赖未说明约定的题目。更令人惊讶的是，这些问题在用于评估前沿物理能力的专家设计基准中同样普遍存在，包括CritPt和《人类终极考试》物理部分。 我们与耶鲁大学教师及学生（及少数外部物理学家）合作开展规模化审核，将每个问题分配给对应领域的专家，并尽可能修正缺陷。在CMT-Benchmark的50个问题中30个存在缺陷，CritPt的56个问题中21个存在缺陷。经过评分修正和缺陷题目处理后，我们发现不仅复核前后结果差异巨大，而且审计时最强模型在最困难基准上已接近饱和状态。 | 基准测试 | 复核前平均@4 | 修正后平均@4 | 修正后通过率@4 | |---------|-------------|-------------|---------------| | HLE-物理 | 47.3% | 78.7% | 91.4% | | CMT基准 | 61.0% | 87.2% | 98.0% | | CritPt | 32.3%\* | 87.5% | 94.4% | | \*复核前CritPt数据为Artificial Analysis对全部70个挑战的mean@5。修正后结果基于保留的54个挑战。 | 需注意：修正分数基于保留或修复的问题，部分运行使用工具而部分未用，且HLE审核仅涵盖GPT-5.6 Sol答案被否决的题目。即使修正后的评测器仍有约4%误差率。但这些因素均不影响核心结论：所有物理基准一直严重低估了前沿AI的物理能力，且这种情况仍在持续。 重申一次：即使是前代前沿模型（Fable 5与GPT-5.6 Sol）现已能解决所有可用基准中几乎一切表述完整、封闭形式的物理问题，从本科力学到研究级凝聚态理论。所谓“基准测试揭示物理学与数学、编程及AI已超人类水平的其他领域存在本质差异”的观点，不过是一种令人安心的幻想。 这并不意味着物理学已死、AI代理将取代人类物理学家，甚至不代表物理学所有重要内容都能简化为AI可整洁求解的形式。但可以断言：任何认为AI从国际象棋、围棋、扑克、蛋白质折叠、编程到数学的进军将在物理学前停止的人，都将遭遇严峻挑战。 ## 物理学尚未被攻克 鉴于物理学与数学呈现趋同发展的证据，我们进一步探究它们在开放问题上的进展是否相似。该领域结果（虽未在论文中呈现）对物理学家而言略显乐观。 我们测试了一个基于GPT的代理系统（此前已成功解决数个数学开放猜想）处理理论物理开放问题的表现。令我们稍感宽慰的是，它至今未能自主完全解决任何一个问题。我们还注意到，无论是我们的分析还是独立的代理分析都表明，这类代理在部分解决的物理问题上的进展远不及同等难度的开放数学问题。 初步结论认为，差距正源于使用这些系统时能直接感知的高级直觉缺失。这种缺失对物理学研究的阻碍可能大于数学，因为问题构建是界定物理问题“开放性”的更关键成分。换言之，前沿模型显然精于处理研究问题中类似习题集的部分：计算、数值运算、极限检验和高效程序表述都不成问题。它们缺乏的是后退一步的元认知能力——不仅追问“什么能解决”，更思考“什么应该解决”。现有痕迹显示模型充分理解所呈现的问题，但缺乏重塑问题的根本意志，而这正是Laughlin、Wilson和Fisher等突破性研究的基石。 ## 为AI重新定义前沿物理 鉴于现有基准皆近饱和，我们需要什么才能真实评估AI的物理研究能力？ **更困难的任务。**下一代基准应聚焦凸显物理学独特挑战的任务，优先选择那些需要寻找最优表征且可能没有唯一标准答案的问题。这还需要更精细地构建评测标准，使其足够灵活以容纳合格物理学家认可的所有答案，而非完全依赖代理自评。 **更好的代理与物理研究框架。**AI物理研究目前缺乏AI数学研究的基础设施。除了投入力度远逊于后者这一简单事实，Lean等工具在AI数学能力演进中至关重要。目前物理学尚无明确对标体系。我们需要围绕自身学科文化构建验证工具：极限情形、量纲分析、与已知结果的一致性，以及更优地提问——那些过去只存在于黑板上的问题。在攻克最著名的重大挑战前，我们可以先开发这些工具来处理具有明确合理理想化空间的问题。 **开放挑战。**我们必须建立人类与AI在物理开放问题上的协作流程，包括公开记录尝试过程、分析部分进展与有价值的失败案例，并创建可解释的、促进人类知识积累的AI驱动物理研究模型。正如Toffoli和Duede所言，数学不仅是解题，物理学亦然。成果应能被人类理解，我们需对积极协作的样貌有明确构想。 把头埋进沙堆的诱惑始终存在。当前物理学家面临的特殊境遇是，这种逃避可以通过多种方式实现：天真信赖基准差距、过分强调所谓人类独有的直觉判断、或拒绝提供推动AI在数学领域近期进展的工具。我们主张，更勇敢且可持续的选择是直面现实，协助引导人机协作的演进。如果存在这样一种流程：双方共同贡献，成果追求不为夸耀或基准分数，而是知识演进，且对人类心智的可理解性始终是研究过程的核心准则与设计要素——那将会是怎样的景象？ 这部分，仍取决于我们。