@Phoenixyin13: 我认为这是ICML 2026里的上乘工作。 传统 Transformer 的 Attention 机制,本质上是点对点匹配,把输入切成一堆 token,即离散点,然后算 Query 和 Key 的相似度,再加权 Value。 这在 NLP…

X AI KOLs Timeline 论文

摘要

介绍ICML 2026论文Functional Attention,将函数作为第一公民,用结构化线性算子替代softmax点对点相似度,解决传统Transformer处理连续函数时离散化、分辨率敏感和计算复杂度高的问题,在PDE求解、3D分割等任务上达到或超过SOTA,并具良好OOD泛化能力。

我认为这是ICML 2026里的上乘工作。 传统 Transformer 的 Attention 机制,本质上是点对点匹配,把输入切成一堆 token,即离散点,然后算 Query 和 Key 的相似度,再加权 Value。 这在 NLP、图像上很管用,但对连续函数、场,比如物理模拟中的 PDE 偏微分方程、3D 几何、流体、材料力学等来说,就有严重的问题: 1. 连续的东西被强行离散化成 token,忽略了全局函数结构。 2. 对分辨率敏感,换个采样率就容易崩 3. 计算是 O(n²),n 很大时很贵。 所以,Functional Attention应运而生。 这次,FuncAttn 把函数本身当成第一公民,不再用 softmax 算点对点相似度,而是用 结构化的线性算子,来建模两个函数空间之间的函数对应关系。 它的灵感,来自几何处理里的 Functional Maps,把复杂 3D 形状对应问题变成简单线性算子,实为巧妙。 结果是更紧凑(k×k 算子,k << n)、分辨率不变,捕捉全局依赖更好、在 PDE 求解、3D 分割、回归等任务上达到或超过 SOTA,还在 OOD泛化上表现突出。 未来,Functional Attention对 AI 应用的实际用处很大,尤其在科学计算 + AI和需要处理连续、物理世界数据的场景中。 它会成为Neural Operator与科学 AI 领域的强力升级组件。 这篇论文,会让 AI 向擅长连续物理世界迈进一大步。对科研加速、工程模拟、具身 AI、BCI 等前沿应用极度有价值。 这正是我认知神经愿景的核心基础设施之一。
查看原文
查看缓存全文

缓存时间: 2026/06/25 07:13

我认为这是ICML 2026里的上乘工作。

传统 Transformer 的 Attention 机制,本质上是点对点匹配,把输入切成一堆 token,即离散点,然后算 Query 和 Key 的相似度,再加权 Value。

这在 NLP、图像上很管用,但对连续函数、场,比如物理模拟中的 PDE 偏微分方程、3D 几何、流体、材料力学等来说,就有严重的问题:

  1. 连续的东西被强行离散化成 token,忽略了全局函数结构。
  2. 对分辨率敏感,换个采样率就容易崩
  3. 计算是 O(n²),n 很大时很贵。

所以,Functional Attention应运而生。

这次,FuncAttn 把函数本身当成第一公民,不再用 softmax 算点对点相似度,而是用 结构化的线性算子,来建模两个函数空间之间的函数对应关系。

它的灵感,来自几何处理里的 Functional Maps,把复杂 3D 形状对应问题变成简单线性算子,实为巧妙。

结果是更紧凑(k×k 算子,k << n)、分辨率不变,捕捉全局依赖更好、在 PDE 求解、3D 分割、回归等任务上达到或超过 SOTA,还在 OOD泛化上表现突出。

未来,Functional Attention对 AI 应用的实际用处很大,尤其在科学计算 + AI和需要处理连续、物理世界数据的场景中。

它会成为Neural Operator与科学 AI 领域的强力升级组件。

这篇论文,会让 AI 向擅长连续物理世界迈进一大步。对科研加速、工程模拟、具身 AI、BCI 等前沿应用极度有价值。

这正是我认知神经愿景的核心基础设施之一。

相似文章

连续统注意力

Hugging Face Daily Papers

提出了 Continuum Attention,一种用连续分段线性记忆曲线上的积分替代离散键值查找的因果 Transformer 注意力算子,在语言建模困惑度上优于标准 softmax 与 focal attention。

@qingke_ai: 五年了,核化注意力还是没打赢 FlashAttention。而且很多论文报的加速,在今天的基线上一复现就没了。 这篇做了一个该有人早点做的系统评估。效率方面:训练时和视觉 Transformer 里,FlashAttention 的显存和…

X AI KOLs Timeline

该论文对核化注意力做了系统性评估,发现 FlashAttention 在训练和视觉 Transformer 的多数序列长度下仍优于 SOTA 核化方法,且许多已报告的加速无法在现代基线上复现;质量上现有核化方法在统一蒸馏协议下比 softmax 差 2-10 分,作者提出 LARA++ 可将差距收回至接近 softmax。

功能注意力:从成对亲和性到功能对应关系

Hugging Face Daily Papers

功能注意力是一种新颖的注意力机制,它将注意力重新解释为自适应基之间的功能对应关系,用受几何功能映射启发的结构化线性算子取代了softmax亲和性。该方法在包括PDE求解和3D分割在内的算子学习任务上实现了最先进的性能,同时保持了分辨率不变性。