通过通用层方程统一图神经网络

Hugging Face Daily Papers 论文

摘要

本文引入了一个通用层方程,将图神经网络统一为七个组件,从而实现架构比较、理论分析,并对过平滑和表达能力等问题提供见解。

图神经网络通常通过特定家族的方程来描述,其符号掩盖了共享计算和结构差异。我们引入了一个通用层方程,通过七个组件来表示所涵盖的架构:更新域、通道集、传播库、每通道消息映射、通道融合算子、自我/残差映射和更新映射。中心因式分解将信息移动的位置(由传播库编码)与移动的内容(由消息映射编码)分离。函数值填充将同一方程扩展到局部消息传递、注意力机制、谱滤波、全局通信、关系特定通道、高阶域和几何消息中。 我们通过规范层的显式还原和跨越七个非排他性架构家族的组件分配,使这种统一变得明确且可检查。固定的槽位纪律根据计算角色分配操作,并定义框架的覆盖边界。分解还产生了组件级别的理论见解:在端点局部消息和节点局部更新下,算子支持限制了一层依赖性,一层全局混合在给定假设下需要完整的有效算子行。 所得到的框架在共同设计空间中组织了超过200种架构,实现了组件级别的比较和结构一致架构的生成,并将传播选择与过平滑、过挤压、异质性和表达能力联系起来。它进一步揭示了将可测量的图和任务属性映射到已验证组件选择的经验逆问题。
查看原文
查看缓存全文

缓存时间: 2026/08/19 03:55

论文页 - 通过通用层方程统一图神经网络

来源:https://huggingface.co/papers/2608.16097 作者:

,

,

,

,

,

,

,

,

,

,

摘要

一个统一的层方程将图神经网络分解为七个组件,用于比较架构、推导理论界,并揭示与过平滑和表达能力相关的设计选择。

图神经网络(https://huggingface.co/papers?q=Graph%20neural%20networks)通常通过特定族的方程来描述,其表示法模糊了共享计算和结构差异。我们引入了一个通用层方程,通过七个组件来表示所涵盖的架构:更新域、通道集、传播库(https://huggingface.co/papers?q=propagation%20bank)、每通道消息映射(https://huggingface.co/papers?q=message%20maps)、通道融合算子、自我/残差映射以及更新映射。核心分解将信息移动的位置(由传播库编码)与移动的内容(由消息映射编码)分离开来。函数值的填充将同一方程扩展到局部消息传递、注意力、谱滤波(https://huggingface.co/papers?q=spectral%20filtering)、全局通信(https://huggingface.co/papers?q=global%20communication)、关系特定通道(https://huggingface.co/papers?q=relation-specific%20channels)、高阶域(https://huggingface.co/papers?q=higher-order%20domains)和几何消息(https://huggingface.co/papers?q=geometric%20messages)。我们通过典型层的规约示例和涵盖七个非互斥架构族的组件分配,使这种统一变得明确且可检验。固定的槽位规范按计算角色分配操作,并定义了框架的覆盖范围。该分解还产生了组件级的理论见解:在端点局部消息和节点局部更新下,算子支撑集限制了一层的依赖关系,而在所述假设下,一层的全局混合需要完整的有效算子行。所得框架将200多种架构组织在一个通用设计空间中,支持组件比较和结构一致架构的生成,并将传播选择与过平滑(https://huggingface.co/papers?q=oversmoothing)、过压缩(https://huggingface.co/papers?q=oversquashing)、异配性(https://huggingface.co/papers?q=heterophily)和表达能力(https://huggingface.co/papers?q=expressivity)联系起来。它进一步揭示了将可测量的图和任务属性映射到经过验证的组件选择的实证逆问题。

查看 arXiv 页面 (https://arxiv.org/abs/2608.16097) 查看 PDF (https://arxiv.org/pdf/2608.16097) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.16097)

引用此论文的模型 0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.16097 以从此页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.16097 以从此页面链接它。

引用此论文的空间 0

没有空间链接此论文

在空间的 README.md 中引用 arxiv.org/abs/2608.16097 以从此页面链接它。

包含此论文的收藏 0

没有包含此论文的收藏

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接它。

相似文章

统一神经缩放定律

arXiv cs.LG

本文提出了统一神经缩放定律(UNSL),这是一种函数形式,能够准确建模和推断深度神经网络在多个维度(如参数、数据和步骤)同时变化时的缩放行为,相较于之前的缩放定律有所改进。

广义神经元

ML at Berkeley

本文探讨了深度学习中的通用近似定理,分析了使用 ReLU 激活函数时单个神经元和神经网络层的表示能力。

图神经网络的结构保持与逻辑表达力

arXiv cs.AI

本文建立了一个语义框架,将图神经网络分类器与分级模态逻辑的片段联系起来,表明在嵌入、同态等结构属性下的保持对应于特定的逻辑片段。它提供了独立于架构选择的刻画,并展示了每类分类器都存在一个具有相同表达力的GNN架构。

跨多层级抽象的图表示学习统一视角

arXiv cs.LG

本文提出了一种统一的对比学习框架,用于跨多个抽象层级(节点、邻近性、簇、图)学习图表示,并引入了一种无需参数的自适应加权机制,能够自适应地为相似度分数分配权重,在分类、聚类和链接预测等下游任务上优于现有最先进方法。