# 新方法实现了混沌系统物理一致的 AI 模型
来源:https://news.mit.edu/new-approach-enables-physically-consistent-ai-models-chaotic-systems-1120
近年来,对天气与气候模式、航空和海洋洋流中的湍流等复杂混沌过程的建模取得了巨大进展。然而,这类模型仍会随时间推移漂移出物理上不可能出现的预测结果。
现在,MIT 信息与决策系统实验室(Laboratory for Information and Decision Systems,LIDS)的研究人员找到了一种方法,可以对机器学习模型施加基于物理的约束,确保模型的输出永远不会超出真实世界中实际可行的合理范围。这一新方法所使用的信息现已由该团队免费公开,有望显著提升此类模型的实用性和可靠性——这些模型除用于气候和天气领域外,还广泛应用于工业流程、航空航天和水文学等领域。
这项新成果由 MIT 研究生 Sunbochen Tang 与 MIT 教授 Navid Azizan、Themistoklis Sapsis 撰写,已发表在《美国国家科学院院刊》(*Proceedings of the National Academy of Sciences, PNAS*)上(https://www.pnas.org/doi/10.1073/pnas.2533077123)。
"缺少有界响应的保证一直是构建复杂非线性系统数据驱动模型的一大障碍,"LIDS 附属教授、机械工程教授 Sapsis 说道。他指出,该团队开发的方法"为在众多现实问题中应用最先进的机器学习架构进行预测和控制铺平了道路,即使那些问题具有内在不稳定性。"
为复杂动力学系统开发可靠的模型在众多领域都至关重要。在流体力学中,湍流会干扰航空飞行、降低风力涡轮机的效率并影响车辆的燃油经济性。类似地,在天气预报中,大气动力学的混沌特性使得精确的长期预测十分困难。
"混沌系统中初始条件的微小差异可能导致截然不同的结果,"Azizan 说道。"这使得预测其遥远未来的行为变得极其困难。"然而,现实世界中可能发生的变化始终受到物理约束。
"混沌并不意味着什么都能发生。这些系统往往保持有界,其模型也应当如此。"但如何将这些边界引入模型,一直是一个棘手的问题,Azizan 说道。他是机械工程系和数据、系统与社会研究所(Institute for Data, Systems, and Society)的 Hayes 副教授,同时也是 LIDS 的主要研究员。
"一个模型可以在短时间内与数据吻合,但长时间运行后仍可能失败,"他说。"小误差会不断累积,直到模拟产生无限增长的数值,"产生在真实系统中永远不可能出现的预测。
"这是许多现有机器学习模型的根本性问题,"他说。"这是一个在不同领域中反复出现的问题:如何将物理约束嵌入这些模型中,同时保持其灵活性,并确保输出具有物理意义?"
"我们希望保留混沌特性,同时消除真实系统中并不存在的人为失控行为,"他说。"我们的方法为模型提供了学习复杂动力学的空间,同时保证其轨迹保持有界。"这是首个为混沌机器学习模型建立此类形式化保证的工作。
航空航天与宇航学系博士生、LIDS 成员 Tang 表示,以往防止模型产生不现实结果的尝试往往基于"在训练过程中施加惩罚或激励",这些函数通常是基于关于系统的特权信息设计的。但由于这些方法只在训练过程中起作用,"一旦模型在实际使用中处理新输入,就无法保证模型满足此类激励所意图施加的底层约束。""模型仍可能产生无界的预测,"他说。
为说明为何简单施加任意限制无法令人满意地解决预测稳定性问题,Tang 解释道:"你可以对预测值设置上限,例如为物理量设定任意限制,比如温度 100 度。这是一种使预测保持有界的可行方式,但它可能限制模型表示应当从数据中直接学习的复杂而非平凡的特征。"
他说:"我们的方法的独特之处在于,我们提出了基于能量的约束。我们让模型学习一个类能量函数,"该函数基于现实世界的混沌系统——在这些系统中,能量耗散有助于保持轨迹有界,尽管其行为十分复杂。"具体而言,模型学习一个类能量函数,以及一个其混沌行为应当被限制在其中的边界。我们随后添加一个投影层——一个调整模型如何预测系统演化的组件——将能量耗散作为硬约束加以执行。在该边界之外,类能量量必须递减,从而将模拟系统拉向有界区域。通过这种方式,我们可以建立理论保证,证明模型预测在任意长的预报窗口内保持有界。"
团队在多种知名物理系统上测试了他们的方法,从简单的教科书案例到高度复杂的多维系统,发现其方法与真实结果高度吻合,而传统方法很快就会偏离到不可能出现的预测。
Azizan 补充道:"我们方法与现有方法的根本区别在于我们所说的硬约束与软约束。"目前许多方法"试图激励模型满足约束,但这些约束并未被当作硬约束来处理。我们的方法基于硬约束神经网络的概念,"因此输出"始终是物理一致的,即使面对模型从未见过的全新情况。"
"AI 模型在拥有大量数据的场景中表现优异,"Azizan 说,例如图像和文本,这两者在互联网上都十分丰富。然而,他说,"对于许多物理系统而言,数据并没有那么丰富。"对于数据有限的情况,他说,"这些物理约束方法能起到很大的帮助,因为问题本身的物理规律是另一个信息来源。"
新方法对任何混沌系统都具有广泛的适用性。"这可以直接应用于各种各样的神经网络架构,"Tang 说。他们计划在越来越大的系统上继续测试。"我们正在尝试了解它在真实天气系统的数据驱动模型上效果如何。"
"投影层是模块化的:它与模型无关,可以配合不同的神经网络架构使用,"Azizan 说。"我们希望其他研究人员和从业者能够在此基础上进一步开发,并在更大、更复杂的问题上加以测试。"该论文连同开源代码现已可在 PNAS 上获取(https://www.pnas.org/doi/10.1073/pnas.2533077123)。
今年,团队成员的一项后续工作(https://proceedings.mlr.press/v331/goertzen26a.html)在学习与动力学控制会议(Learning for Dynamics and Control)上发表,该论文获得了会议最佳论文奖。
"可信可靠的 AI 不仅需要模型通常有效的证据,"Azizan 说。"对于高风险应用,你需要对必须始终成立的性质提供保证。在这项工作中,我们建立了这样一个保证:有界性。我们更广泛的目标是让这些原则成为构建 AI 模型的一部分,而不仅仅是测试模型的一部分。"