@snowboat84: 补充说明一下,关于AI涌现出来的那些现象,scaling law、emergence、双重下降、表征几何,目前相关讨论的论文已经汗牛充栋。但这里有一个很大的问题:他们都在用计算机科学家的方式思考,而不是物理学家的方式思考。 什么是计算机科…
摘要
作者评论当前AI研究过多使用计算机科学的思维方式而缺乏物理学方法,提出需要建立如'Cyber Space'的理想系统来奠定理论基础。
查看缓存全文
缓存时间: 2026/05/24 20:37
补充说明一下,关于AI涌现出来的那些现象,scaling law、emergence、双重下降、表征几何,目前相关讨论的论文已经汗牛充栋。但这里有一个很大的问题:他们都在用计算机科学家的方式思考,而不是物理学家的方式思考。
什么是计算机科学家的思维方式?看到一个现象,挑一组数学工具,做一个小实验,去凑解释,可能抓到一点,也可能没抓到。然后再换一个工具,换一组数据,再凑一次。你问他们什么叫做充分必要条件,他们是不管的。这不是科学,这是建模。
物理学的方法完全不同。从一堆纷乱的现象里,提炼出你认为最fundamental的那一组,把它理想化,建立一个孤立的、几乎不存在但概念上清晰的“理想系统“。然后在这个理想系统里把规律彻底搞清楚,最后才一步一步扩张到真实世界。
牛顿第一定律就是这样建立的:“不受力的物体永远保持匀速直线运动。“但这条定律不是随便在哪里都成立的。地球上不行,因为地球在自转;太阳系里也不行,因为整个太阳系在绕银河系中心运动;你在跑步、在转椅上、在加速车里,都不是好的参考系,因为它们都在加速。牛顿的处理方式是:只有相对于无限远的恒星天空,才存在一个“绝对参考系”,定律在这里才严格成立。这是一个悬在半空的理想态,现实中无法到达,但概念上必须存在。所有真实的力学问题都是“相对于这个理想态的偏离“,重力,离心力、科里奥利力、摩擦力,都是因为我们所在的参考系不是惯性系才产生的。
没有这个悬在半空的理想态,整个经典力学就建立不起来。
这就是为什么我要引入Cyber Space这个概念。把AI现象放在Cyber Space这个独立世界里,我们才能用物理学家的方式问问题:Cyber Space的“惯性参考系“是什么?什么是它的“理想气体“?什么是它的理想态,那个Space中几乎不存在、但概念上必须首先确立的起点?
这个问题目前没人在认真问。但只有问出这个问题,新的数学和新的理论才有出发点。否则我们就只能继续看着AI论文堆成山,每一篇都“差不多解释了一点“,但永远建不起新的基础理论。
非常正确
哈哈哈,有点枯燥吧?
谢谢你的总结
相似文章
@snowboat84: https://x.com/snowboat84/status/2062686432335184321
这篇文章探讨了物理学与深度学习之间的深层联系,分析了Scaling Law、涌现等现象与物理学中临界标度律、相变等概念的同构性,并梳理了物理方法论在AI中的应用现状与前景。
@snowboat84: 今天讨论点硬核的。一个问题:AI用到了什么程度的数学? 从工具和模型本身看,AI用到的数学平均年龄150岁,绝大部分是19世纪中叶之前就有的:矩阵乘法、梯度下降、链式求导、傅里叶、内积、概率,大都是本科前两年的内容。 但AI涌现出的一些现…
讨论AI用到的数学主要是19世纪之前的线性代数、微积分等,但涌现现象如Scaling Law、涌现能力、双下降、情境学习和表示几何缺乏数学解释,类比1900年物理学的乌云,认为可能推动21世纪数学发展。
@snowboat84: 这是《当物理遇上AI系列》的下篇。物理在AI中的作用,主要可以分为以下四层:(1)第一层为最底层,贡献了计算的骨架,能量、熵、自由能这些嵌进了AI的训练目标里。(2)第二层为中层,物理塑造了网络的形状,Hopfield的Ising能量函数…
本文探讨了物理学在人工智能中的四层作用,从底层计算骨架到方法论层,认为物理学的方法论正从自然界迁移到AI领域。
@freeman1266: 软件工程方法论必须从传统的“状态视角”转向动力系统视角。 核心观点主张“吸引子(Attractor)逻辑优先于治理工具(Harness)”,即首先定义系统应长期收敛的结构不变量,而非仅仅关注局部的约束与验证。 AI作为高频且无持续方向感的…
文章提出软件工程方法论应从状态视角转向动力系统视角,强调吸引子逻辑优先于治理工具,在AI时代需显式建模状态空间、吸引子、轨迹与控制,以应对AI作为高频扰动源导致的架构漂移。
@runes_leo: Karpathy 4/30 在 Sequoia Ascent 把今年最有用的 AI 解释,压缩成三个论点。读完你看 AI 的方式会变。 1. AI 不只是"更快",是新范式 过去 2 年大家都在讲 AI 让事情变快。 Karpathy 说…
本文总结了Karpathy在Sequoia Ascent大会上的核心观点,指出AI是重塑任务流的新范式而非单纯加速工具,通过可验证性与经济价值划分了模型能力的“参差不齐边界”,并预言未来软件将演变为以LLM为逻辑层、传统代码为传感器/执行器的智能体原生架构。