从近似到涌现：深度学习理论

arXiv cs.LG 论文
deep-learning theory emergence approximation neural-networks arxiv

摘要

本文提出了一个理论框架，将近似理论与深度学习中的涌现现象桥接起来，为神经网络如何学习提供了新的见解。

arXiv:2607.01311v1 公告类型：新提交 摘要：深度学习已经超越了任何单一的数学解释。《From Approximation to Emergence》提供了一个统一的、面向证明的现代深度学习理论叙述，从近似、优化和泛化的经典基础，追溯至当代的过度参数化、鲁棒性、生成建模、Transformer、上下文学习、缩放定律、可解释性、对齐和涌现等机制。该书并非呈现孤立的结果，而是将广泛的文献组织成一个连贯的研究叙事：每个理论都通过其控制的对象、使其成立的假设以及它未能解释的现象来审视。这本专著面向研究人员、研究生和受过数学训练的从业者，提供了深度学习理论在当下状态的严谨地图：强大、不完整，并且日益集中在学习机制如何从规模、数据、架构和训练中涌现这一问题之上。
查看原文
查看缓存全文

缓存时间: 2026/07/03 05:39 

# 从逼近到涌现：深度学习理论
来源：https://arxiv.org/abs/2607.01311
文献工具

## 文献与引用工具

文献探索器 切换

代码、数据与媒体

## 本文相关的代码、数据与媒体

演示

## 演示

相关论文

## 推荐与搜索工具

IArxiv推荐 切换

关于arXivLabs

## arXivLabs：与社区合作者的实验项目

arXivLabs是一个框架，允许合作者直接在我们的网站上开发和分享新的arXiv功能。

无论是个人还是组织，只要与arXivLabs合作，都已接受并认同我们关于开放性、社区精神、卓越表现以及用户数据隐私的价值观。arXiv致力于这些价值观，并只与遵守这些价值观的合作伙伴合作。

有一个能为arXiv社区带来价值的项目构想吗？**了解更多关于arXivLabs的信息**（https://info.arxiv.org/labs/index.html）。

相似文章

通过相变的涌现：机制景观与复杂系统中的通用收敛

arXiv cs.LG

本文介绍了层次涌现框架（HEF），该框架解释了在物理和信息约束下，通过机制景观中的相变，神经网络和生物进化等多样系统如何收敛到相似的内部表示。该框架通过111个grokking实验进行了实证验证，这些实验确认了通用收敛，并识别出一个临界能量阈值。

非线性算子及其导数的通用逼近

arXiv cs.LG

本文证明了在无限维空间中非线性算子及其导数的首个通用逼近定理，将经典结果扩展到DeepONet和PCA-Net等算子学习架构。

深度学习的哈密顿-雅可比理论

Hugging Face Daily Papers

本文识别神经网络训练为通过哈密顿-雅可比初值问题的搜索，表明残差网络、Transformer和RNN离散化了同一类粘性哈密顿-雅可比方程。推导出定量结果，包括极小极大最优泛化率、对抗鲁棒性界和闭式影响函数。

广义神经元

ML at Berkeley

本文探讨了深度学习中的通用近似定理，分析了使用 ReLU 激活函数时单个神经元和神经网络层的表示能力。