deep-learning-architecture

这篇 MIT 论文介绍了一种用于深度学习架构统一表示的数学框架，能够实现自动化分析和优化。其目标是用一种通用语言取代手动设计，该语言可以生成图表、图谱或 PyTorch 代码。

该论文介绍了 EΔ-MHC-Geo Transformer，这是一种新颖的架构，通过 Cayley 旋转和 Householder 反射实现具有保证正交性的自适应测地线运算。与 Deep Delta Learning 等现有基线方法相比，它展示了更优的长视域稳定性和范数保持能力。