@bravo_abad: 一种将CNN和Transformer转化为分辨率无关神经算子的原则性构建方法 训练U-Net或…
摘要
本文提出了一种原则性构建方法,将CNN和Transformer转化为分辨率无关的神经算子,使得在一个网格分辨率上训练的模型能够泛化到其他分辨率,这对于科学机器学习应用(如偏微分方程求解)至关重要。
查看缓存全文
缓存时间: 2026/07/05 12:33
将CNN和Transformer转化为分辨率无关的神经算子的原则性构建
在一种网格分辨率上训练U-Net或ViT,然后在另一种分辨率上运行,性能通常会崩溃。感受野和token化与像素索引而非物理坐标绑定,因此改变网格间距会悄然改变层执行的操作。这对视觉任务尚可,但对科学机器学习来说是个真正的问题。
许多物理系统(流体流动、热传递、电磁学)由偏微分方程支配,存在于连续函数空间。你想学习的对象是一个算子:从一个函数(例如强迫项或系数场)到另一个函数(解)的映射。但标准网络处理有限向量,而模拟数据以网格和点云的形式到达,其分辨率因运行而异。
Julius Berner及其合著者提炼出神经算子的清晰原则,这些模型在函数空间之间映射,并在不同离散化下保持一致。核心步骤是:找出一个层暗中逼近哪个连续算子,然后将其离散化,使其尊重坐标和求积权重而不是数组索引。对索引的求和变为对区域的积分,潜在界面保持与输入分辨率无关。
这种构建几乎一对一地转换了熟悉的模块:全连接层变为积分变换,卷积变为谱算子(FNO),注意力变为全局积分算子。在Navier-Stokes基准测试中,仅在分辨率128下训练的模型说明了情况:FNO和OFormer transformer从64泛化到1024,而U-Net和ViT在训练网格之外急剧退化。求积权重也很重要:去掉它们,聚合不规则间隔的值会过度加权密集区域,因此输出永远不会收敛。
对于药物发现、材料开发和能源建模的流程,收益是一次训练、跨分辨率部署:在廉价低分辨率模拟上学习,保留少量昂贵的高分辨率运行,然后以任务所需的任何精度查询训练好的模型。
论文:Berner等人,《自然·机器智能》(2026),CC BY 4.0 | https://doi.org/10.1038/s42256-026-01267-z…
Client Challenge
来源:https://idp.nature.com/transit?redirect_uri=https%3A%2F%2Fwww.nature.com%2Farticles%2Fs42256-026-01267-z&code=c0214b1a-7028-4d00-887a-9d6f76616272 该网站的一个必需部分无法加载。这可能是由于浏览器扩展、网络问题或浏览器设置所致。请检查您的连接,禁用任何广告拦截器,或尝试使用不同的浏览器。
相似文章
用于守恒律的稳健基础模型:通过循环视觉转换器将上下文注入通量神经算子
本文提出了一种新架构,将 Flux 神经算子与循环视觉转换器相结合,作为求解守恒律的基础模型。该模型在无需显式获取控制方程的情况下,在多种保守系统中展示了稳健的泛化能力和长期预测能力。
@AnimaAnandkumar: 这是我们自开始研究神经算子以来一直在强调的一点。我们很快就从简单的...
Anima Anandkumar 强调,尽管基准测试简单,但神经算子在像高分辨率 AI 天气预报模型 (FourCastNet) 和核聚变湍流这样的困难实际问题上实现了巨大加速(10,000 到百万倍)。她引用了一篇新论文,表明随着 PDE 任务难度的增加,学习型求解器变得更加经济高效。
eCNNTO:一种高度可泛化的卷积网络,用于加速拓扑优化
本文提出了eCNNTO,一种带有残差连接的卷积神经网络,通过从早期迭代历史中预测接近最优的密度来加速基于密度的拓扑优化,实现了最多97%的迭代次数减少,并在不同边界条件、几何形状和网格分辨率下展现出强大的泛化能力。
ResBM:一种基于Transformer的新型架构,用于低带宽流水线并行训练,实现128倍激活压缩 [R]
ResBM提出了一种基于Transformer的架构,采用残差编码器-解码器瓶颈用于流水线并行训练,在保持收敛的同时实现了128倍激活压缩。该工作通过减少阶段间通信开销,推进了去中心化、互联网级分布式训练的发展。
@rohanpaul_ai: 新微软论文认为,Transformer在学会紧凑内部状态时泛化更好,而不仅仅是预测下一个token……
微软的NextLat论文提出了一种自监督训练方法,让Transformer预测其下一个隐藏状态而非仅仅下一个token,从而形成更紧凑的世界模型,更好地进行规划和推理,并且生成速度提升高达3.3倍。