@snowboat84: 若干年前,耗散系统和非线性复杂系统在学术界和文化界曾经非常火热。要全面回顾耗散系统,不得不从非耗散的热力学说起。热力学第二定律(熵定律)说,一切都该走向混乱、走向死寂。可生命在生长,森林在演替,连数据中心里的大模型,也在不断"学"出秩序。…
摘要
这是一篇长达两万五千余字的科普文章,从熵的起源讲起,回顾了耗散系统理论的发展历程,并探讨了AI是否属于耗散系统的三层分析(硬件层、训练层、静态模型)。
查看缓存全文
缓存时间: 2026/06/18 02:06
若干年前,耗散系统和非线性复杂系统在学术界和文化界曾经非常火热。要全面回顾耗散系统,不得不从非耗散的热力学说起。热力学第二定律(熵定律)说,一切都该走向混乱、走向死寂。可生命在生长,森林在演替,连数据中心里的大模型,也在不断“学“出秩序。这股逆着熵增往上走的力量,物理学给了它一个名字:耗散结构。
我这篇两万五千余字的科普,从“熵到底是怎么来的“讲起(卡诺、克劳修斯、玻尔兹曼,前后几十年才正式定下这个概念),讲到普里高津怎么在远离平衡的地方建立起非平衡热力学的理论,并由此荣获了1977年诺奖。再从普利高津讲起,讲到复杂科学、协同学、混沌,一直到耗散系统理论今天最锋利的继承者:随机热力学、活性物质,还有把麦克斯韦妖关进笼子的兰道尔原理。
为什么我们要回顾耗散系统呢?因为我们要问一个问题:AI到底算不算耗散系统?我的讨论是,得分三层看:硬件层、训练层、静态模型。我们来看看,曾经轰轰烈烈的耗散结构理论,是否可以借鉴在AI理论的研究中。
这是我百日百篇长篇原创系列的第53篇。
相似文章
@snowboat84: 几年来我一直在思考这个问题。统计力学和AI之间的关系。统计力学用分子动力学的统计方式,复现了热力学优美的基本定理,尤其是复现了一些热力学里极为漂亮的宏观量之间的关系,比如熵、自由能,当然还有温度、压强等。 问题是,AI是否有这些热力学的宏…
这篇推文探讨了统计力学与人工智能之间的关系,并引用了一篇论文,该论文提出了机器学习系统的热力学理论,引入了温度、熵和能量等概念,将训练过程视为相变。
@snowboat84: 补充说明一下,关于AI涌现出来的那些现象,scaling law、emergence、双重下降、表征几何,目前相关讨论的论文已经汗牛充栋。但这里有一个很大的问题:他们都在用计算机科学家的方式思考,而不是物理学家的方式思考。 什么是计算机科…
作者评论当前AI研究过多使用计算机科学的思维方式而缺乏物理学方法,提出需要建立如'Cyber Space'的理想系统来奠定理论基础。
@snowboat84: 继续讨论物理模型在AI中的运用。今天的Transformer靠attention让序列里不同位置的信息相互作用,但这种混合极有可能是有损、不可逆的。独立的各份信息混着混着就糊了、丢了,也无法从结果精确倒推回输入。我们想要的是另一种相互作用…
作者讨论Transformer注意力机制导致信息有损和不可逆的问题,提出借鉴孤立子传播的物理模型,设计一种可逆、零损耗的相互作用层,作为对现有AI模型结构的改进方向。
@snowboat84: https://x.com/snowboat84/status/2064135804092645410
本文系统梳理了世界模型(world model)这一概念从1943年Craik的心理隐喻到2024-2026年产业爆发的演进历程,详细介绍了符号AI、深度学习流派(Schmidhuber-Ha、Dreamer系列、JEPA、视频生成方向)的核心理念与代表作品,并指出当前定义混乱、各派竞争的现状。
@snowboat84: https://x.com/snowboat84/status/2062686432335184321
这篇文章探讨了物理学与深度学习之间的深层联系,分析了Scaling Law、涌现等现象与物理学中临界标度律、相变等概念的同构性,并梳理了物理方法论在AI中的应用现状与前景。