EML树是通用逼近器 [R]

Reddit r/MachineLearning 论文
universal-approximation elementary-functions eml-trees mathematical-proof function-approximation machine-learning-theory

摘要

本文证明了EML树（通过组合表示初等函数）是连续函数及其他函数空间的通用逼近器。证明构建了基本运算的EML表示，并将其用作构建块。

嘿！EML函数最近在互联网上以“酷炫技巧”的形式流传，它允许通过组合来表示所有初等函数。出于数学好奇心，我们证明了EML（类型）树的通用逼近定理。直观上，如果初等函数可以通过EML的组合来表达，那么多项式也可以，而多项式在其他函数空间（如连续函数或某些Sobolev空间）中是稠密的，那么我们就可以通过EML树（在大小和深度上有上界）以任意精度逼近任何（在相当一般的空间中的）函数。证明的关键步骤之一（详见附录）是显式构造二元运算、多项式、双曲正切和近似单位划分的EML（类型）表示，然后将其用作“乐高”积木来获取更复杂的函数。证明中存在一些需要处理的技术难题，特别是自然对数在非正输入时定义不明确的问题，这促使我们在定理1的第5步进行了一些“基于符号的分解”，并在推论1中进行了适当的仿射变换。欢迎评论！论文：https://arxiv.org/pdf/2606.23179 （注：我上面使用了“EML（类型）”这个术语，因为由于论文中详述的一些理论和实践原因，我们通过添加一些可学习参数对原始EML函数进行了推广。）
查看原文

相似文章

广义神经元

ML at Berkeley

本文探讨了深度学习中的通用近似定理，分析了使用 ReLU 激活函数时单个神经元和神经网络层的表示能力。

非线性算子及其导数的通用逼近

arXiv cs.LG

本文证明了在无限维空间中非线性算子及其导数的首个通用逼近定理，将经典结果扩展到DeepONet和PCA-Net等算子学习架构。

提升E-Graphs

Lobsters Hottest

文章介绍了‘提升E-Graphs’，这是一种改进的e-graph方法，它显式编码函数的上下文（维度），以解决变量命名、遗漏共享和意外过度共享的问题，该方法基于从R^n到R的函数语义模型。