智能的热力学度量

# 智能的热力学度量  
来源：https://arxiv.org/html/2606.20231  
Ishanu Chattopadhyay  
ishanu\_ch@uky\.edu (https://arxiv.org/html/2606.20231v1/mailto:[email protected])  
生物医学信息学研究所，肯塔基大学，列克星敦，肯塔基州，美国  
计算机科学系，肯塔基大学，列克星敦，肯塔基州，美国  

###### 摘要  

智能可以被度量吗？我们提出，智能可定义为对稀有但有效的未来状态进行合法放大：一个系统将那些在被动动力学下不太可能、但在约束条件下仍然可成立的结果的概率提高。我们的前提是：一个智能系统必须对世界及其自身在世界中的位置进行建模。由于系统是被建模世界的一部分，这自然导致递归自模拟：系统所表征的未来轨迹中包含其自身的行为。我们的核心结果给出了一个必要性陈述和一个条件性近似充分性陈述，将这种架构与一个精确的稀有有效未来合法放大的热力学度量相联系：除非内部模拟以高保真度识别出稀有有效未来，否则不可能获得高稀有有效提升；反之，当稀有有效性保真度很高且模拟包含有效策略时，可实现的提升接近于受限于执行能力的最优值。因此，递归自模拟不仅是智能的一个合理特征，而且在所述假设下，对于高热力学智能而言，既是必要的，也是近似充分的。由此产生的框架使智能可以在一个通用尺度上被度量，范围覆盖被动物质和反馈控制器、大型语言模型、作为文本生成器的人类，乃至麦克斯韦妖式的信息引擎。  

## I. 引言  

智能能否被框架化为一个可度量的物理量？我们从如下观察出发：任何被认为具有智能的系统都会对包含自身在内的世界进行建模，模拟基于自身行为的未来状态，并利用这个内部模型使某些未来状态比在被动动力学下更可能出现。这暗示一个相关的可度量量是*稀有有效提升*：相对于被动基线，那些在领域约束下仍然有效但可能性很低的未来状态所获得的概率增加。我们的核心结果是，仅靠随机性或强执行能力无法获得高稀有有效提升。在有限放大条件下，这需要高保真的自模拟：系统的内部模型必须足够精确地识别出稀有有效未来，以便针对性地进行定向。  

参考图注  
图 1：概念总结。（a）递归自模拟：系统在一个层次上表征世界，同时在更高模拟层次上表征自身未来状态与行为的模型。稀有有效保真度（Φ^\\widehat{\\Phi}）衡量模拟识别可定向的稀有有效未来的精确度。（b）热力学智能：相对于被动轨迹律 \(P0P_{0}\)，诱导律 \(PP\) 将概率质量向稀有有效轨迹 \(VδV_{\delta}\) 转移，产生稀有有效提升 \(Iδ=δ−1∫Vδ\(dP−dP0\)I_{\delta}=\delta^{-1}\int_{V_{\delta}}(dP-dP_{0})\)。（c）代表性系统在压缩尺度 \(Λ=log10⁡\(log10⁡\(I+1\)+1\)\\Lambda=\log_{10}(\log_{10}(I+1)+1)\) 上的分布。所绘示例为概率提升的有限分辨率校准，其中的符号和妖条目是在文中所述假设下进行解读的。  

智能的标准定义强调行为：模仿或对话不可区分性[1]、学习、推理、规划、泛化、压缩、奖励最大化或任务成功[2,3,4]。这些标准虽然有用，但并未识别出大脑、大型语言模型、微生物群落、免疫库、控制器以及麦克斯韦妖等理想化信息引擎所共有的、与底层物质无关的运作方式。所有这些系统都将信息转化为行动。因此，我们提出一个不同的问题：一个智能系统对可能未来的发生概率做了什么？这一问题相关但不同于现有的面向任务的智能解释。Legg–Hutter 智能定义了一个智能体在所有可计算环境上的通用分布中的期望奖励[2]。Chollet 的 ARC 框架则强调技能获取效率：在类人先验下从稀疏经验中推断抽象规则并泛化的能力[4]。这些解释评估跨环境、基准或问题类别上的表现。我们的框架是面向路径的。我们问的是，当描述层级、基线律、有效性标准和观测分辨率固定后，支撑这类表现的物理或概率操作是什么。奖励最大化、基准泛化、定理证明、符号问题解决和生物适应都可以视为特例。  

我们从递归自模拟开始。一个系统在其内部对包含自身作为因果对象的世界进行建模时，其行为在本意义上是智能的。这样的模型可以表征可能的未来，包括系统自身的干预、这些干预可能产生的观测，以及自身信息状态日后可能如何变化。明斯基在他关于内部模型的论述中预见到了这一点：高级问题解决要求系统表征自身的目标、资源和问题解决活动，而自我理解可能涉及关于自我模型的模型[5,6,7]。类似的想法也出现在关于自指和怪圈的研究中[8,9,10]。  

为了测量递归自模拟所带来能力，我们使用路径律。被动动力学产生一个基线分布 \(P0P_{0}\) 作用在轨迹上。一个受控的或类似智能体的系统则诱导出另一个律 \(PP\)。自模拟通过改变这些概率的方式变得可观测。从这一视角，智能就是合法的轨迹重新加权：一些未来变得更可能，另一些则变得更不可能，且这种变化必须遵守测量、记忆、计算、控制和擦除所需的热力学核算。并非所有的轨迹操作都相同。信息量最大的变化出现在轨迹分布的尾部。在 \(P0P_{0}\) 下已经常见的未来之间转移概率可能反映稳定或调节，但不能有力测试系统能否超越被动动力学。稀有未来则考验这种能力，因为否则它们将几乎不会实现。然而，仅凭稀有性本身并不是智能的度量；随机噪声也会产生不太可能的事件。这些未来必须保持有效；因此我们关注稀有有效的未来：在被动律下概率很低但在领域约束下仍然可成立的轨迹。稀有性提供了反事实难度；有效性（解释为物理可实现性、生物可行性、语义连贯性、可执行正确性或功能成功）防止度量奖励噪声。为了使这一概念精确且可计算，我们考虑系统轨迹的热力学，并将热力学智能定义为稀有有效概率提升：在诱导律 \(PP\) 下，一个极端稀有但有效的集合的概率的相对增量。这一定义将智能的量化转化为一个关于路径测度的问题。  

所需的热力学工具已经相当成熟[11,12,13,14,15]，包括非平衡涨落定理，这些定理量化了在被动动力学下产生熵和减少熵的轨迹的相对可能性[16,17,18,19]。符号情形则使用互补的信息论语言，如熵率和编码[20,21]。我们通过从零提升的被动系统、适度放大的简单控制器、符号生成器（包括 GPT-5 和人类文本）到麦克斯韦妖式信息引擎等示例来展示这一框架。麦克斯韦妖是典型的历史案例：一个假设的微观观察者利用粒子状态信息来筛选热涨落，造成局部熵的明显减小。在此，麦克斯韦妖作为理想化的高提升极限，在实现代价被支付之前，近乎完美的微观态模拟、稀有有效识别和执行能力产生了极端稀有有效轨迹放大。相反，符号示例展示了在有限语言分辨率下如何使用同样的形式体系，只要基线系综、有效性标准、序列长度和生成器诱导的概率偏移被明确指定。  

## II. 递归自模拟  

要表现出智能行为，系统需要一个包含自身在内的深层世界模型。明斯基在他关于内部模型的论述中预见到了这一点：高级问题解决要求系统不仅表征外部情境，还要表征自身的目标、资源和问题解决活动，而自我理解可能涉及关于自我模型的模型[5,6,7]。我们将这一“自我在世界中”的要求形式化为一个嵌入的表征层次结构。  

设 \(BB\) 表示一个嵌入环境 \(EE\) 中的类似智能体的系统，并设 \(U=B∪EU=B\cup E\)。在最低层级，系统维持其可观测世界的内部表征：  

\[
rB^{(0)}=rB^{(0)}(U)。
\]

由于 \(B∈UB\in U\)，足够通用的局部宇宙模型也必须表征系统自身：其状态、记忆、不确定性、行为以及可能的未来更新，从而诱导出一个递归层次结构：  

\[
rB^{(1)} = rB^{(1)}(rB^{(0)})，
\]
\[
rB^{(2)} = rB^{(2)}(rB^{(1)})，
\]
\[
\vdots
\]
\[
rB^{(k)} = rB^{(k)}(rB^{(k-1)})。
\]

该层次结构编码了对世界的预测、对系统自身未来行为的预测，以及对其信息状态如何变化的预测；因此递归自模拟是一个有限的自指循环。如果环境中包含其他智能体 \(BjB_{j}\)，同样的理念扩展到嵌套表征：  

\[
rB^{(k)}\left(rB_{j}^{(\ell)}\right)，\qquad j\neq B,\quad k,\ell\geq 0。
\]

社会和生物环境因此可能产生相互作用的递归模型。这是心智理论式建模的热力学类似物：智能体的未来部分取决于其对其他智能体将感知、推断和采取行动的预测[22,23]。  

当系统评估自身未来行为的后果时，递归自模拟开始运作。设 \(ht\_th_t\) 表示时刻 \(tt\) 可用的历史，设 \(At\mathcal{A}_{t}\) 表示可用动作集，设 \(Γt:T\Gamma_{t:T}\) 表示未来的一段轨迹。假定智能体在其 \(kk\) 级内部模型下评估一个轨迹泛函 \(GG\)，并选择  

\[
a_{t}^{\star} \in \arg\max_{a\in\mathcal{A}_{t}} \mathbb{E}_{rB^{(k)}} \left[ G(\Gamma_{t:T}) \mid h_t, a \right]。
\]

等价地，智能体可以实施一个策略 \(\pi_{t}(\cdot\mid h_t)\)，其集中在该最大化动作附近。为了计算这一期望值，模型必须表征未来环境、智能体的可能行为以及智能体自身的未来信息状态。我们的构造不同于感知和行动上的预测处理与主动推断视角[24]；我们的度量量是相对于 \(P0P_{0}\) 的稀有有效概率提升，而非自由能本身。递归模拟的层次结构决定了系统能够识别、评估和定向哪些未来。  

为了将这一架构与可度量量联系起来，我们现在引入层级相关的稀有有效提升。设 \(L0\mathcal{L}_{0}\) 表示所考虑的基础现实或物理层级。通篇中，\(I\mathcal{I}\) 表示稀有有效集相对于被动基线的分数概率提升。在层级 \(kk\)，该提升比较在诱导或模拟律下赋给稀有有效事件的概率与对应被动律下的概率。实现智能是实际在层级 \(kk\) 路径律中诱导出的提升。智能潜能是在层级 \(k+1\) 对层级 \(kk\) 的模拟中可用的最大此类提升。第 III 节给出了相应的轨迹空间定义，并将其标识为热力学智能。  

对于 \(k≥0k\geq 0\)，设 \(\Omega_k\Omega_k\) 是层级 \(kk\) 的轨迹空间， \(\mathcal{F}_k\mathcal{F}_k\) 是其 \(\sigma\sigma\)-代数，\(P_{0,k}P_{0,k}\) 是被动或基线律， \(\eta_k\eta_k\) 是观测分辨率。设 \(V_{\delta,k}\subseteq\Omega_kV_{\delta,k}\subseteq\Omega_k\) 是层级 \(kk\) 上的一个可测稀有有效事件，基线质量 \(\delta_k \triangleq P_{0,k}(V_{\delta,k}) > 0\)。当目标质量固定或上下文清楚时，我们写成 \(\delta\delta\) 而非 \(\delta_k\delta_k\)。定义  

\[
\mathcal{L}_{k} \triangleq (\Omega_k,\mathcal{F}_k,P_{0,k},V_{\delta,k},\eta_k)。
\]

对于任意满足 \(V_{\delta,k}\in\mathcal{F}_k\) 的层级 \(kk\) 路径律 \(Q_kQ_k\)，定义层级 \(kk\) 的稀有有效提升  

\[
\begin{aligned}
\mathcal{I}_{\delta,k}(Q_k;P_{0,k},V_{\delta,k}) &\triangleq \frac{Q_k(V_{\delta,k}) - P_{0,k}(V_{\delta,k})}{P_{0,k}(V_{\delta,k})} \\
&= \frac{Q_k(V_{\delta,k}) - \delta_k}{\delta_k}.
\end{aligned}
\]