@bravo_abad: 一种将CNN和Transformer转化为分辨率无关神经算子的原则性构建方法 训练U-Net或…

X AI KOLs Following 论文

摘要

本文提出了一种原则性构建方法,将CNN和Transformer转化为分辨率无关的神经算子,使得在一个网格分辨率上训练的模型能够泛化到其他分辨率,这对于科学机器学习应用(如偏微分方程求解)至关重要。

一种将CNN和Transformer转化为分辨率无关神经算子的原则性构建方法 在一个网格分辨率下训练U-Net或ViT,然后在另一个分辨率下运行,性能通常会崩溃。感受野和标记化与像素索引而非物理坐标绑定,因此改变网格间距会潜移默化地改变层执行的运算。这对视觉任务尚可,但对科学ML来说是个真正的问题。 许多物理系统(流体流动、热传递、电磁学)由偏微分方程支配,存在于连续函数空间中。你要学习的对象是一个算子:从一个函数(例如强迫项或系数场)到另一个函数(解)的映射。但标准网络消耗有限向量,而仿真数据在网格和点云上出现,其分辨率随运行而变化。 Julius Berner 及其合著者提炼出神经算子的清晰原则,这些模型在函数空间之间映射并跨离散化保持一致性。核心举措:找出某个层暗中逼近的是哪个连续算子,然后进行离散化,使其尊重坐标和积分权重而不是数组索引。对索引求和变为对域进行积分,潜变量接口保持与输入分辨率无关。 该构造几乎一对一地转换熟悉的模块:全连接层变为积分变换,卷积变为谱算子(FNO),注意力变为全局积分算子。在纳维-斯托克斯基准测试中,仅在分辨率128下训练的模型说明了问题:FNO和OFormer transformer可以从64泛化到1024,而U-Net和ViT在训练网格之外性能急剧下降。积分权重也很重要:如果丢弃它们,聚合不规则间隔的值会过加权密集区域,因此输出永远不会收敛。 对于药物发现、材料开发和能源建模等流程,其好处是一次训练,跨分辨率部署:在廉价低分辨率仿真上学习,保留少数昂贵的高分辨率运行,并在任务所需的任何保真度下查询训练好的模型。 Paper: Berner et al., Nature Machine Intelligence (2026), CC BY 4.0 | https://doi.org/10.1038/s42256-026-01267-z…
查看原文
查看缓存全文

缓存时间: 2026/07/05 12:33

将CNN和Transformer转化为分辨率无关的神经算子的原则性构建

在一种网格分辨率上训练U-Net或ViT,然后在另一种分辨率上运行,性能通常会崩溃。感受野和token化与像素索引而非物理坐标绑定,因此改变网格间距会悄然改变层执行的操作。这对视觉任务尚可,但对科学机器学习来说是个真正的问题。

许多物理系统(流体流动、热传递、电磁学)由偏微分方程支配,存在于连续函数空间。你想学习的对象是一个算子:从一个函数(例如强迫项或系数场)到另一个函数(解)的映射。但标准网络处理有限向量,而模拟数据以网格和点云的形式到达,其分辨率因运行而异。

Julius Berner及其合著者提炼出神经算子的清晰原则,这些模型在函数空间之间映射,并在不同离散化下保持一致。核心步骤是:找出一个层暗中逼近哪个连续算子,然后将其离散化,使其尊重坐标和求积权重而不是数组索引。对索引的求和变为对区域的积分,潜在界面保持与输入分辨率无关。

这种构建几乎一对一地转换了熟悉的模块:全连接层变为积分变换,卷积变为谱算子(FNO),注意力变为全局积分算子。在Navier-Stokes基准测试中,仅在分辨率128下训练的模型说明了情况:FNO和OFormer transformer从64泛化到1024,而U-Net和ViT在训练网格之外急剧退化。求积权重也很重要:去掉它们,聚合不规则间隔的值会过度加权密集区域,因此输出永远不会收敛。

对于药物发现、材料开发和能源建模的流程,收益是一次训练、跨分辨率部署:在廉价低分辨率模拟上学习,保留少量昂贵的高分辨率运行,然后以任务所需的任何精度查询训练好的模型。

论文:Berner等人,《自然·机器智能》(2026),CC BY 4.0 | https://doi.org/10.1038/s42256-026-01267-z…


Client Challenge

来源:https://idp.nature.com/transit?redirect_uri=https%3A%2F%2Fwww.nature.com%2Farticles%2Fs42256-026-01267-z&code=c0214b1a-7028-4d00-887a-9d6f76616272 该网站的一个必需部分无法加载。这可能是由于浏览器扩展、网络问题或浏览器设置所致。请检查您的连接,禁用任何广告拦截器,或尝试使用不同的浏览器。

相似文章

eCNNTO:一种高度可泛化的卷积网络,用于加速拓扑优化

arXiv cs.AI

本文提出了eCNNTO,一种带有残差连接的卷积神经网络,通过从早期迭代历史中预测接近最优的密度来加速基于密度的拓扑优化,实现了最多97%的迭代次数减少,并在不同边界条件、几何形状和网格分辨率下展现出强大的泛化能力。