测试前沿大语言模型在平行物理世界中的物理素养

# 在平行物理世界中测试前沿大语言模型的物理素养

来源：https://arxiv.org/html/2607.00276

###### 摘要

当前大语言模型（LLM）的物理学基准测试通常以答案准确率作为评分标准，这无法区分真正的推理与对熟悉问题模式的回忆，也几乎无法揭示模型的推理在何处出现故障。我们引入了一种可审计的四阶段诊断方法，通过归纳、形式化、预测和审阅四个环节，评估LLM能否在陌生的物理学框架内进行推理。该诊断方法结合了锁定预注册、阶段间重启会话、双LLM评判以及人工审计通道，并将其应用于三个平行物理世界：单一方程反事实世界（F=mv）、历史框架（亚里士多德力学）和四域反事实世界（衰变世界）。在Claude Opus 4.7、GPT-5.5和Gemini 3.1 Pro上的测试结果显示，这三个世界的综合通过率分别为6/15、6/15和0/15（F=mv和亚里士多德力学世界同时考察内容∧结构维度，衰变世界仅考察内容维度，结构维度超出范围）。最突出的经验性模式是定性-定量不对称性：在衰变世界中，模型几乎从未预测错变化方向，但经常通过滑回标准物理学关系而算错比例。该协议还揭示了两个方法论发现：LLM评判者的可靠性无法跨框架迁移；在第四个阶段（自我审阅）中，所有框架的表现都很薄弱，在至少三分之二的实际包含错误的试验中，模型自己的审阅错误地报告没有早期错误。我们公开了完整的提示词、响应、评判结果和审计记录。

## 1 引言

大语言模型（LLM）是否具备推理能力，是人工智能研究中核心争论之一。在文献中，推理通常通过无法一步完成的任务来定义，例如多步算术、几何证明和长程规划，这些任务要求模型生成可独立检查的中间步骤。Wei等人（2022b (https://arxiv.org/html/2607.00276#bib.bib41)）于2022年引入了思维链（Chain-of-Thought, CoT）提示方法：在提示中提供几个“问题、中间步骤、答案”示例，将PaLM-540B在GSM8K (Cobbe等人, 2021 (https://arxiv.org/html/2607.00276#bib.bib9))上的准确率从17.9%提升至56.9%。有趣的是，Kojima等人后来发现甚至连示例都不是必需的：单一短语“让我们一步步思考”将零样本InstructGPT-175B的准确率从10.4%提升至40.7% (Kojima等人, 2022 (https://arxiv.org/html/2607.00276#bib.bib20))。结合Brown等人（2020 (https://arxiv.org/html/2607.00276#bib.bib6)）关于GPT-3的规模缩放观察以及Wei等人（2022a (https://arxiv.org/html/2607.00276#bib.bib40)）的涌现假设，这些结果支持了乐观观点：规模加上提示可以产生涌现式推理。

另一方面，这种乐观观点受到了Schaeffer等人的质疑，他们认为观察到的许多涌现现象是评估指标的人为产物 (Schaeffer等人, 2023 (https://arxiv.org/html/2607.00276#bib.bib36))。Mirzadeh等人的GSM-Symbolic表明，前沿模型对问题文本的符号扰动高度敏感，在GSM-NoOp变体中准确率下降超过60个百分点 (Mirzadeh等人, 2024 (https://arxiv.org/html/2607.00276#bib.bib26))。这表明表面符号匹配的贡献远大于真正的多步推导。Huang和Chang的综述将这一争论置于一个光谱上，从“CoT是真正的推理”到“CoT是从训练数据中检索模板” (Huang & Chang, 2023 (https://arxiv.org/html/2607.00276#bib.bib18))。因此，LLM是否执行真正的推理仍然是一个悬而未决的问题。

一个更雄心勃勃的问题超越了推理本身：人工智能能否进行科学研究？我们将现有的“AI for Science”工作按三个自主性层级进行分类，所有这些层级仍然锚定在预先提供的框架内。  
低自主性：AI在已建立的理论或实验流程中充当执行工具，进行优化、自动化、参数搜索或数据分析。Boiko等人（2023）的Coscientist让LLM自主安排有机合成实验，以及Robin中的Finch分析模块就是这一角色的例子 (Boiko等人, 2023 (https://arxiv.org/html/2607.00276#bib.bib4); Ghareeb等人, 2025 (https://arxiv.org/html/2607.00276#bib.bib11))。  
中自主性：AI在广阔的搜索空间中生成并筛选假设，然后将候选方案交给人类或下游实验。FunSearch在人类编写的评估函数下搜索程序 (Romera-Paredes等人, 2024 (https://arxiv.org/html/2607.00276#bib.bib34))，Google DeepMind的Co-Scientist在文献中生成药物重定位假设 (Gottweis等人, 2025 (https://arxiv.org/html/2607.00276#bib.bib12))，Robin将文献综述、假设评估和数据分析结合成一个闭环用于干性年龄相关性黄斑变性研究 (Ghareeb等人, 2025 (https://arxiv.org/html/2607.00276#bib.bib11))，而The AI Scientist在人类编写的机器学习模板内运行变体 (Lu等人, 2024 (https://arxiv.org/html/2607.00276#bib.bib24))。  
高自主性：AI解决一个精确定义的问题，其成功标准和外部验证由人类提供，在严格定义的搜索空间中产生一个可独立检查的对象。AlphaGeometry生成了IMO几何问题的形式化证明 (Trinh等人, 2024 (https://arxiv.org/html/2607.00276#bib.bib39))，OpenAI在2026年5月报告称，一个内部推理模型为Erdős 1946年单位距离猜想给出了反例构造，并与九位外部数学家共同验证 (Alon等人, 2026 (https://arxiv.org/html/2607.00276#bib.bib1))。

这三个层级共享一个结构特征：待解决的问题位于人类预先建立的理论框架之内。AI的作用是在该框架内进行搜索、组合、推理或证明。框架在整个解决过程中保持不变。换句话说，这三个层级对应于科学研究链的不同片段。具体来说，低自主性对应于现有框架内的实验执行和数据处理；中自主性对应于在已知规律性基础上的候选假设生成；高自主性对应于给定问题陈述下的解决方案或构造。在所有三种情况下，AI完成的是理论建构的其中一个阶段，而不是完整的理论本身建构。一个完整的科学理论需要从理论上未经解释的观测出发，独立归纳出一个可供第三方检查的理论体系，并根据该体系对新情况做出可量化的预测。这个过程是物理学训练的核心，但据我们所知，尚没有任何AI系统独立完成过它。

与完整的科学理论建构相邻的另一个研究方向是世界建模，它越来越多地被业界作为“物理AI”系统的基础设施来呈现 (NVIDIA等人, 2025 (https://arxiv.org/html/2607.00276#bib.bib29))。然而，“世界模型”一词在文献中没有统一的定义。Ha和Schmidhuber的世界模型是一个循环网络，根据当前状态和动作预测下一个环境状态 (Ha & Schmidhuber, 2018 (https://arxiv.org/html/2607.00276#bib.bib14))。LeCun的JEPA提案则走另一条路：在潜在表示空间中构建预测模块，而非像素级别 (LeCun, 2022 (https://arxiv.org/html/2607.00276#bib.bib22))。与此同时，物理问题则更为尖锐。OpenAI最初将Sora描述为一个隐式物理模拟器¹ (Brooks等人, 2024 (https://arxiv.org/html/2607.00276#bib.bib5))，但LeCun认为像素级生成与世界的因果模型是不同的对象 (LeCun, 2022 (https://arxiv.org/html/2607.00276#bib.bib22))。Bear等人的Physion基准测试（2021年）衡量的则是从视觉输入预测滚动、滑动和碰撞的下一步 (Bear等人, 2021 (https://arxiv.org/html/2607.00276#bib.bib3))。这是前向物理预测，不要求模型以可独立检查的形式外化规则。世界建模在很大程度上一直作为工程问题来推进。即使是与认知科学重叠的路线，例如Battaglia、Hamrick和Tenenbaum的直观物理引擎，也只是在知觉和直觉层面处理“物理学”，而非从观察中归纳出形式化的物理学理论 (Battaglia等人, 2013 (https://arxiv.org/html/2607.00276#bib.bib2))。总体而言，世界建模提供了一个必要但不充分的基础。没有世界内部表征的模型无法产生可独立检查的形式化理论，但拥有这种表征并不意味着它能将理论写下来。

为了评估物理理解力，必须从物理学本身的角度审视世界模型。为了研究世界模型如何理解物理学，让我们回到LLM本身。当前文献如何评估LLM的物理理解力？主导方法是评估其解决问题的能力。GSM8K (Cobbe等人, 2021 (https://arxiv.org/html/2607.00276#bib.bib9)) 使用小学数学应用题，MATH (Hendrycks等人, 2021 (https://arxiv.org/html/2607.00276#bib.bib17)) 则扩展到高中竞赛题。这两个基准目前已被前沿模型基本饱和。Rein等人的GPQA Diamond将难度提升到198个博士级别的跨三个科学学科的问题，在该领域获得博士学位的专家得分为65%，Claude 3.5 Sonnet得分为59.4% (Rein等人, 2024 (https://arxiv.org/html/2607.00276#bib.bib33))。Qiu等人的PHYBench使用了500个原创物理问题，并引入了表达式编辑距离（EED）评分，用于捕捉过程正确但答案错误的情况 (Qiu等人, 2025 (https://arxiv.org/html/2607.00276#bib.bib32))。在直接准确率上，Gemini 2.5 Pro达到36.9%，人类专家达到61.9%。Zhang等人的ABench-Physics将一个问题重写为一系列动态变体，要求模型正确回答所有变体 (Zhang等人, 2025 (https://arxiv.org/html/2607.00276#bib.bib47))。这与Mirzadeh等人GSM-Symbolic (Mirzadeh等人, 2024 (https://arxiv.org/html/2607.00276#bib.bib26)) 中“扰动即脆弱性测试”的思路相同。

上述现象都指向同一个结构性缺口。对推理的扰动测试表明，基准的正确性可能在很大程度上依赖于符号匹配 (Mirzadeh等人, 2024 (https://arxiv.org/html/2607.00276#bib.bib26))。现有的AI-for-Science系统所提出的问题都位于人类已建立的理论框架内，因此框架本身的归纳并未得到独立测试。世界模型评估将“物理学”停留在感知和下一步预测层面，这与物理学家意义上的形式化理论并非同一回事 (Zhang, 2024 (https://arxiv.org/html/2607.00276#bib.bib46))。LLM物理基准测试，即使在采用了PHYBench的EED评分 (Qiu等人, 2025 (https://arxiv.org/html/2607.00276#bib.bib32)) 和ABench-Physics的动态变体 (Zhang等人, 2025 (https://arxiv.org/html/2607.00276#bib.bib47)) 等改进之后，仍然遵循相同的“准确率即标准”逻辑，并继承了两个结构性限制。首先，准确率原则上无法区分物理理解与先前接触过类似问题。一个包含更多问题的更大基准自然会得到更多正确答案，但这并不意味着更高的认知能力。其次，准确率不携带任何关于模型认知边界的信息。如果模型A得分为90%，模型B得分为91%，读者只知道B多答对了一道题，而不知道B能完成而A不能完成的是何种认知工作。

弥合这一缺口需要超越解决问题的层面，直接观察模型是否能够从陌生的现象出发，独立产生一个可供第三方检查的理论体系。物理学史上包含了一条可复现的认知链。例如，开普勒从第谷·布拉赫二十年的行星位置数据中归纳出三条定律：椭圆轨道、面积定律和T² ∝ a³ (Kepler, 1609 (https://arxiv.org/html/2607.00276#bib.bib19))。这纯粹是几何学和运动学，没有“力”的概念。牛顿从开普勒的几何定律和伽利略的落体观测出发，归纳出万有引力定律，并用它来预测潮汐、彗星轨道和月球运动 (Newton, 1687 (https://arxiv.org/html/2607.00276#bib.bib27))。麦克斯韦从库仑静电学、安培环路定律、法拉第电磁感应以及高斯电学和磁学定律出发，认识到安培定律缺少一个自洽所需的项 (Maxwell, 1865 (https://arxiv.org/html/2607.00276#bib.bib25))。他添加了位移电流，将现象统一为四个方程，并用这些方程预测了以光速传播的电磁波，暗示光本身即是一种电磁波。爱因斯坦从光速不变性（迈克尔逊-莫雷）、麦克斯韦电动力学、等效原理（自由落体作为局部惯性系）以及水星近日点进动在牛顿引力下的异常出发 (Einstein, 1916 (https://arxiv.org/html/2607.00276#bib.bib10))，建立了狭义和广义相对论，并预测了光线弯曲和引力波的存在。

这种相同的认知链在物理学完整理论体系的历史中反复出现：观察现象、归纳规律、将其系统化为可操作形式、预测新情况、然后审阅理论以识别错误和边界。物理学之所以是物理学，正是因为它常常需要走完这一整条链。DeepMind首席执行官Hassabis在2026年初提出了一个AGI测试：为AI系统提供1911年之前的所有知识，看它能否独立产生爱因斯坦1915年的广义相对论 (Hassabis, 2026 (https://arxiv.org/html/2607.00276#bib.bib15))。该特定测试的优缺点超出了本文范围，但其前提是清晰的：AI系统必须走完观察、归纳、系统化、预测和审阅的完整链条。

有鉴于此，我们测试LLM是否理解物理学的方案，将那条认知链分解为四个基本的认知步骤，并分别评估每一步。为了使这四个步骤具体化，我们通过一个贯穿始终的例子（麦克斯韦电磁理论的发展）来追踪所有步骤：
- • 归纳：从理论上未经解释的观察中提取出一个能同时解释所有观察的规律。麦克斯韦从19世纪积累的四组看似独立的电学和磁学现象（库仑静电学、安培环路定律、法拉第电磁感应、高斯电学和磁学定律）出发，归纳出它们都可以由一个单一底层结构来描述。
- • 形式化：将归纳出的规律重写为可供第三方应用的运作形式。麦克斯韦将这一归纳系统化为四个偏微分方程（麦克斯韦方程组），在此过程中