标签
介绍LLT,一种基于Transformer的神经算子,它将线性全局注意力与局部空间混合相结合,用于PDE学习。在多个PDE问题上,与基线方法相比,它实现了具有竞争性的精度和更快的训练速度。
本文提出了将流行神经网络架构(CNNs、GNNs、Transformers)转换为神经算子的原则性方法,这些神经算子学习无限维函数空间之间的映射,使得在不同离散化下进行科学建模时能够获得一致的预测。发表于《Nature Machine Intelligence》。
本文提出了一种原则性构建方法,将CNN和Transformer转化为分辨率无关的神经算子,使得在一个网格分辨率上训练的模型能够泛化到其他分辨率,这对于科学机器学习应用(如偏微分方程求解)至关重要。
提出REEF-GP,一种事后不确定性量化框架,通过将高斯过程拟合到冻结神经算子的残差上并利用其内部嵌入,以低成本实现几何感知且校准的不确定性。
Operator Boosting 是一种逐阶段残差学习框架,通过在残差场上训练微型模型来构建紧凑的神经算子替代模型,用于求解 PDE。其精度可与全尺寸模型相媲美甚至更优,同时参数减少高达 95%,在多个基准测试中展示了帕累托改进。
Anima Anandkumar 强调,尽管基准测试简单,但神经算子在像高分辨率 AI 天气预报模型 (FourCastNet) 和核聚变湍流这样的困难实际问题上实现了巨大加速(10,000 到百万倍)。她引用了一篇新论文,表明随着 PDE 任务难度的增加,学习型求解器变得更加经济高效。
本文介绍了拓扑神经算子,它将神经算子从纯点域提升到胞腔复形,嵌入几何与拓扑以减轻学习负担。研究表明,当几何不再被事后处理时,算子学习有所改善,尽管拓扑仍然是指定的。
提出了将分裂共形预测首次应用于基于神经算子的物理模拟,提供了具有有限样本覆盖保证的无分布预测区间,并利用MC Dropout不确定性生成自适应宽度的区间。
傅里叶神经算子(FNOs)在建模周期性驱动的量子系统时取得了外推成功,通过在频率空间中捕捉时间相关性,实现了超越训练数据的物理忠实动力学。
提出将半群一致性作为评估学习型物理模拟器的诊断指标,展示了在使用ConvNet和FNO基线的热力学和伯格斯动力学中,归一化半群误差与展开退化相关。
研究基于神经积分算子的fMRI编码和解码任务模型,重点关注非局部时空上下文的作用,并表明更大的时间窗口可提升跨数据集的性能。
本文证明了在无限维空间中非线性算子及其导数的首个通用逼近定理,将经典结果扩展到DeepONet和PCA-Net等算子学习架构。
本文研究了变系数波动方程中傅里叶神经算子与深度算子网络在分布偏移下的泛化行为,发现FNO难以处理高频输入,而DeepONet的性能下降较为平缓。
本文建立了神经算子的定量 Sobolev 逼近界,证明了算子可以以显式的复杂度-误差关系进行一致逼近。通过在 Burgers 方程上对 Fourier 神经算子(FNOs)进行验证,展示了 Sobolev 空间逼近理论能够准确预测其缩放行为。
本文提出了一种新架构,将 Flux 神经算子与循环视觉转换器相结合,作为求解守恒律的基础模型。该模型在无需显式获取控制方程的情况下,在多种保守系统中展示了稳健的泛化能力和长期预测能力。