拓展热力学AI模型规模

# 扩展热力学AI模型 来源：https://arxiv.org/html/2607.00170 \(2026年6月22日\) ###### 摘要 基于伊辛模型的热力学计算设备在低功耗AI推理和边缘计算方面展现出巨大潜力，但目前缺乏可扩展的方法来训练此类硬件上的大型模型。先前的理论表明，高温吉布斯采样伊辛系统的时间平均行为可以实现前馈神经推理。我们将这一理论对应关系转化为一种可扩展且纯粹基于反向传播的算法，用于训练深度卷积网络，以在伊辛机硬件上进行热力学推理。我们的图像分类模型在CIFAR-10上达到94.9%的准确率，在CIFAR-100上达到76.0%的准确率（采用二进制吉布斯采样）。随后，我们建立并实验验证了一个数学理论，将推理成本与准确性联系起来，并控制自相关时间。接着，我们计算了渐近结果，表明推理成本受限于一个可控的性能权衡，并给出了计算最优推理调度的方法。最后，我们讨论了这些结果对硬件开发以及高温热力学AI模型未来的影响。 ## 1 引言 AI模型将大量小规模计算聚合为统计推断。然而，在GPU上运行AI模型——即使是量化后的模型——也需要对每个激活值进行精确的无差错计算。这种微观层面的精确性对于宏观性能并非必要：激活值的小误差通常不会导致灾难性的性能损失。这是权重量化方法和dropout层背后的基本原理。另一方面，保持这些计算的精确无误会在硬件层面带来能耗成本。换句话说，在推理过程中保持每个计算的精确性是浪费的。热力学计算硬件，包括随机硅基和其他概率性基板，有望以极低的能量消耗执行近似的局部计算。因此，在宏观层面，在此类硬件上运行模型可以以远高于传统方式的效率进行计算，而不会显著损失精度。鉴于AI推理巨大且持续增长的能耗需求，找到更高效的解决方案的需求将日益迫切。热力学计算系统利用热涨落、随机动力学、玻尔兹曼分布或非平衡过程，而不是将噪声抑制为误差源[CCC2019热力学计算研讨会]。一个典型的例子是伊辛计算机：任何实现二进制自旋系统且其概率分布由伊辛模型支配的硬件。伊辛计算与AI有着悠久的历史，可追溯到80年代。Hopfield网络——统计力学与机器学习之间联系的典型例子——明确基于低温伊辛模型。玻尔兹曼机（一种正温度的表亲）至今仍具有相关性。然而，现代AI推理的瑰宝，如图像分类和自然语言处理，在很大程度上仍在其能力范围之外。基于伊辛的系统一直缺乏真正可扩展且高效的通用工作负载训练算法。这实际上将伊辛计算局限于那些存在良好训练方法的情形。在玻尔兹曼机适用的应用中，对比散度或平衡传播提供了解决方案，但这些方法无法高效扩展到大型基准问题[Nguyen_2017]。伊辛计算机在组合优化中也得到了广泛应用，其权重可以轻松从问题结构分析推导得出[Lucas_2014]。然而，缺乏纯粹基于反向传播的方法阻碍了该技术处理大规模AI工作负载的能力：简而言之，我们所知的最佳训练方法尚未能适用。热力学AI不应要求放弃现代深度学习软件栈。本文旨在纠正这一点。我们采用一种非传统的方法进行伊辛计算，开发了用于训练热力学模型的新的基于反向传播的算法，在基准任务上展示了我们的结果，并提供了理论来解释我们的结果。 ### 1.1 主要贡献 本工作的直接前身是[moore2025correspondenceisingmachinesneural]，它通过一个全局缩放参数δ建立了一个连接浅层tanh神经网络与伊辛系统的对应定理。理论上，它承诺神经网络可以直接在伊辛机上运行。更具体地说，通过均匀缩放第二层交互作用的强度，伊辛系统的平均行为近似于具有相同拓扑结构、权重和tanh激活函数的神经网络的激活值。然而，该结果仅表明一个经过训练的浅层感知器可以在伊辛机上运行，且仅在弱耦合和无限时间的极限下。此外，它没有解决任何关于混合时间或动力学的问题。换句话说，该结果仍然是一种数学上的可能性，而非实用的方法。为了使热力学AI模型在实用工作负载规模上成为现实，我们需要能够训练深度模型，控制推理时间，并确保对应关系在实用耦合尺度下有意义地成立。本文是该项工作的算法延续和应用。我们开发了算法，将深度神经网络训练成一系列热力学块（thermodynamic blocks），其中每个块都满足对应定理的条件（第2节 (https://arxiv.org/html/2607.00170#S2)）。因此，网络中的每个块都可以实现为一个随机伊辛机，在高温下进行平均采样，块之间传递二进制数据。此外，我们引入了一种方法，确保我们的模型在实用的耦合尺度下运行，而不仅仅在弱耦合极限下（第3节 (https://arxiv.org/html/2607.00170#S3)）。我们的训练算法基于纯反向传播，通过正则化项实现，确保其随问题规模扩展。最后，我们建立了收敛理论和误差率估计（第5节 (https://arxiv.org/html/2607.00170#S5)），证明推理成本和混合时间仍然是可控的，这是在实用应用中使用随机系统的必要因素。我们推导了误差率作为推理时间函数的渐近估计和封闭形式的近似公式，然后在线性化红-黑模型中证明，在弱耦合极限下自相关时间趋近于1。这一理论使我们能够轻松推导出最优推理时间调度，并确保成本保持合理。 在实现方面，我们通过在图像分类基准上训练热力学模型来展示我们方法的强大（第4节 (https://arxiv.org/html/2607.00170#S4)）。当使用热力学推理运行我们的模型时，我们在MNIST上达到98.1%的准确率，在FashionMNIST上达到93.5%，在CIFAR-10上达到94.9%，在CIFAR-100上达到76%。我们还通过选定的结果展示了推理时间成本与性能之间存在温和的权衡：更极端的参数和更多的扫描次数可以实现更好的准确性，但较低的推理成本仍然能产生良好的结果。分析模型表明，对于我们的较大模型，超过99.99%的FLOPs已被卸载到热力学推理上。在第6节 (https://arxiv.org/html/2607.00170#S6)中，我们通过实验验证我们的理论模型，直观地表征模型性能，进行消融实验以展示我们方法的影响，并解释推导最优推理调度的过程。最后，在第7节 (https://arxiv.org/html/2607.00170#S7)中，我们讨论了我们的结果与当前热力学硬件格局的关系。任何特定的硬件系统都会施加独特的约束，特别是在稀疏性和量化方面；因此，我们通过一个实验讨论我们的算法如何适应这一图景。此外，虽然高温采样的新方法可能为伊辛计算与组合优化之间的长期关系注入新元素，但最终必须开发出适合未来AI工作负载的热力学硬件。我们的方法主要集中在卷积网络上。一个原因是它们符合理论——展开后的具有tanh激活的卷积本质上是一个稀疏MLP。另一个原因是硬件需要稀疏性和局部性，而卷积架构从一开始就自然地构建了这些特性。但我们也相信，卷积网络特别适合我们需要热力学AI处理的工作负载。低功耗图像处理对于小型监控无人机或安防摄像头非常有用。应用于一维卷积时，相同的方法可以惠及植入式医疗传感器、生物特征可穿戴设备和音频信号处理设备。 为了实现我们的结果，我们采用了一种非传统的伊辛系统模型作为计算平台。与伊辛计算传统上的做法——退火到零温度或从玻尔兹曼分布中采样单一状态——不同，我们依赖于玻尔兹曼分布的经验时间平均，即通过在固定温度下对多个样本进行平均。通过将高温计算理论构建成一个完整的应用，我们展示了这种新方法的优点：高温平均采样是神经推理的自然契合，这种采样技术的顶级支持应该是硬件开发的优先级。 ### 1.2 与先前工作的关系 本工作也与基于平衡或双向动力学的神经训练方法有关，包括如[E_P_2025]中的平衡传播风格的方法。那些方法表明深度网络可以训练为容忍迭代的双向松弛。我们的设置有两个重要区别。首先，通信的激活值是随机二进制自旋而非连续状态。其次，我们刻意避免使主要训练过程依赖于长期的基于采样的梯度估计器。吉布斯链为正则化提供目标，但梯度路径保持短而平滑，并与标准反向传播兼容。最接近的基准比较是[Niazi_2024]，它展示了使用吉布斯采样伊辛系统进行图像分类，并为该领域提供了重要的基线。我们的方法不同之处在于使用了更传统的深度学习训练流程，目标是更深的卷积架构，并强调了大型模型所需的扫描次数权衡。比较不仅仅是准确率的问题：目标是展示热力学推理可以看起来像一个可扩展的神经软件栈，而不是一组单独设计的小型伊辛分类器。 在硬件方面，[jelinčič2025efficientprobabilistichardwarearchitecture]中提出的架构尤其相关。该工作阐明了一个系统级图景，其中概率采样单元通过二进制状态通信，并在输入和输出处辅以少量常规计算。我们的模型与该图景紧密对齐：它在一个序列的伊辛兼容热力学块周围使用了一个经典的编码器和解码器。本文的贡献在于使这些块能够在可观规模上执行深度神经计算所需的训练和推理方法。 最后，本工作应与更广泛的关于组合优化的伊辛机文献区分开来。量子退火器、CMOS退火器、数字退火器、相干伊辛机、模拟分岔机和概率比特系统都提供了重要证据，表明伊辛类基板可以被工程化和扩展。然而，这些文献中的大多数目标是优化：构建一个能量函数并搜索低能态。本文以不同方式使用伊辛动力学。我们不退火到基态。我们使用有限温度吉布斯动力学来估计玻尔兹曼平均值，并训练一个神经架构，使得这些平均值的符号实现前馈推理。 ## 2 架构 参考图注图1：我们的CIFAR-10分类器。编码器是一个单一的经典卷积，带有符号激活函数。其后跟随六个热力学块。经典解码器是一个全局平均池化，后接一个全连接线性映射到输出层。每个热力学块包含三个卷积层，如图2 (https://arxiv.org/html/2607.00170#S2.F2)所示。我们的模型大致基于宽残差网络（WRN）[zagoruyko2017wideresidualnetworks]，这是一个经典且经过充分测试的卷积架构。它由一个编码器、一个热力学块序列和一个解码器组成。热力学块占据了99%到超过99.99%的FLOPs。¹¹准确地说，它们替代了经典推理中本应存在的FLOPs。每个热力学块由两个带有tanh激活的卷积层和一个跳跃卷积组成，随后是符号激活函数，以确保块之间流动的数据是二进制的。该模型可以在GPU上作为普通的前馈模型运行。另一方面，每个热力学块也可以加载到伊辛机上并使用吉布斯采样运行：神经元实现为自旋，权重和偏置分别被重新解释为耦合强度和局部磁场。我们设想模型的硬件实现如下：经典GPU计算或专用数字ASIC执行轻量级的编码器和解码器。每个热力学块由一块伊辛机芯片实现。二进制信息从块中提取并作为输入传递给下一个块。这种设置与[jelinčič2025efficientprobabilistichardwarearchitecture]中提出的整体硬件架构紧密对齐，尽管我们使用了完全不同的软件模型和训练系统。我们的模型架构的可视化表示如图1 (https://arxiv.org/html/2607.00170#S2.F1)所示。 ### 2.1 前馈模式下的热力学块 在GPU上以前馈模式运行时，热力学块是卷积、仿射变换和双曲正切激活函数的简单组合，最终输出通过符号激活函数。以这种方式运行时，该块本身并不具有内在的概率性或基于能量的特性。然而，其架构经过精心选择，使其能够直接映射到基于概率和能量的伊辛硬件上。 每个块由三个卷积算子K1、K2、K3参数化，一个输入仿射映射A_in(x) = a_in ⊙ x + d_in，一个内部仿射映射A_mid(u) = a_mid ⊙ u + d_mid，以及一个隐藏偏置b。在我们的模型中，卷积K1和K2使用3×3核，而跳跃卷积K3使用1×1核。给定一个二进制输入张量x，该块的符号前向计算输出二进制张量y如下： x′