function-spaces

本文提出了将流行神经网络架构（CNNs、GNNs、Transformers）转换为神经算子的原则性方法，这些神经算子学习无限维函数空间之间的映射，使得在不同离散化下进行科学建模时能够获得一致的预测。发表于《Nature Machine Intelligence》。

功能注意力是一种新颖的注意力机制，它将注意力重新解释为自适应基之间的功能对应关系，用受几何功能映射启发的结构化线性算子取代了softmax亲和性。该方法在包括PDE求解和3D分割在内的算子学习任务上实现了最先进的性能，同时保持了分辨率不变性。