@Phoenixyin13: 我认为这是ICML 2026里的上乘工作。 传统 Transformer 的 Attention 机制,本质上是点对点匹配,把输入切成一堆 token,即离散点,然后算 Query 和 Key 的相似度,再加权 Value。 这在 NLP…
摘要
介绍ICML 2026论文Functional Attention,将函数作为第一公民,用结构化线性算子替代softmax点对点相似度,解决传统Transformer处理连续函数时离散化、分辨率敏感和计算复杂度高的问题,在PDE求解、3D分割等任务上达到或超过SOTA,并具良好OOD泛化能力。
查看缓存全文
缓存时间: 2026/06/25 07:13
我认为这是ICML 2026里的上乘工作。
传统 Transformer 的 Attention 机制,本质上是点对点匹配,把输入切成一堆 token,即离散点,然后算 Query 和 Key 的相似度,再加权 Value。
这在 NLP、图像上很管用,但对连续函数、场,比如物理模拟中的 PDE 偏微分方程、3D 几何、流体、材料力学等来说,就有严重的问题:
- 连续的东西被强行离散化成 token,忽略了全局函数结构。
- 对分辨率敏感,换个采样率就容易崩
- 计算是 O(n²),n 很大时很贵。
所以,Functional Attention应运而生。
这次,FuncAttn 把函数本身当成第一公民,不再用 softmax 算点对点相似度,而是用 结构化的线性算子,来建模两个函数空间之间的函数对应关系。
它的灵感,来自几何处理里的 Functional Maps,把复杂 3D 形状对应问题变成简单线性算子,实为巧妙。
结果是更紧凑(k×k 算子,k << n)、分辨率不变,捕捉全局依赖更好、在 PDE 求解、3D 分割、回归等任务上达到或超过 SOTA,还在 OOD泛化上表现突出。
未来,Functional Attention对 AI 应用的实际用处很大,尤其在科学计算 + AI和需要处理连续、物理世界数据的场景中。
它会成为Neural Operator与科学 AI 领域的强力升级组件。
这篇论文,会让 AI 向擅长连续物理世界迈进一大步。对科研加速、工程模拟、具身 AI、BCI 等前沿应用极度有价值。
这正是我认知神经愿景的核心基础设施之一。
相似文章
连续统注意力
提出了 Continuum Attention,一种用连续分段线性记忆曲线上的积分替代离散键值查找的因果 Transformer 注意力算子,在语言建模困惑度上优于标准 softmax 与 focal attention。
@tetsuoai: 注意力机制是一种查找。每个token构建一个查询,与序列中的每个键进行比较,并拉取值向量…
将Transformer中的注意力机制解释为一种查找操作:每个token构建查询,与键进行比较,并检索加权的值向量,附带视频覆盖完整流程。
@qingke_ai: 五年了,核化注意力还是没打赢 FlashAttention。而且很多论文报的加速,在今天的基线上一复现就没了。 这篇做了一个该有人早点做的系统评估。效率方面:训练时和视觉 Transformer 里,FlashAttention 的显存和…
该论文对核化注意力做了系统性评估,发现 FlashAttention 在训练和视觉 Transformer 的多数序列长度下仍优于 SOTA 核化方法,且许多已报告的加速无法在现代基线上复现;质量上现有核化方法在统一蒸馏协议下比 softmax 差 2-10 分,作者提出 LARA++ 可将差距收回至接近 softmax。
功能注意力:从成对亲和性到功能对应关系
功能注意力是一种新颖的注意力机制,它将注意力重新解释为自适应基之间的功能对应关系,用受几何功能映射启发的结构化线性算子取代了softmax亲和性。该方法在包括PDE求解和3D分割在内的算子学习任务上实现了最先进的性能,同时保持了分辨率不变性。
扩展注意力:通过泰勒级数实现具有固定数量循环状态的线性时间 Transformer
这篇论文提出将注意力的指数核展开为 n 项截断泰勒级数,并将每项分解为张量幂内积,从而用固定数量的循环状态实现线性时间 Transformer,实测在长上下文下相比 softmax 注意力有显著加速和常数解码延迟。