Spectral Neuron - 一种用于可扩展且可解释模型的机器学习原语 [R]

之前曾在 Yahoo 的一个广告团队工作，这源于我一直反复思考的一个问题：是否存在既简单、可扩展、可解释，又可控的“简单”模型？决定探索这个问题，首先在博客中（从这里开始），然后在新的预印本《The Spectral Neuron》中，通过将最新的博客文章提炼成手稿来构建。我研究形式为：𝑓(𝒙) = 𝛌ₖ(𝐀₀ + 𝚺ᵢ 𝑥ᵢ𝐀ᵢ) 的模型。手稿：https://arxiv.org/abs/2608.08003 代码：https://github.com/alexshtf/spectral_neuron_paper 看起来像是一个简单的一行代码，但其中隐藏着许多有趣的方面。随着矩阵的增长，模型变得有多强大？我们能从学习到的矩阵中直接读出什么？通过构造可以保证哪些形状？我发展了数学理论，提供了实用的初始化和训练方案，并在合成数据和真实数据上进行了扩展实验测试模型。AI 免责声明：手稿由本人撰写，AI 协助查找规范引用和相关工作以进行文献综述。相比之下，代码大量由 AI 编写，并由本人审阅。