用于去噪高维结构化表示的测地线流匹配

# 结构化高维表示去噪中的测地线流匹配
来源：https://arxiv.org/html/2606.00248

###### 摘要

向量符号代数通过将符号信息编码为高维分布式表示，实现了鲁棒的神经符号推理。对于连续域，空间语义指针通过将变量映射到连续环形流形上，扩展了这一框架。然而，诸如流匹配等标准方法假设平坦的欧几里得几何，这未能考虑有效SSP状态所施加的几何约束。我们证明，对于SSP，这一假设是失效的：欧几里得线性插值会“切割”流形内部，破坏了解码所需精确相位和幅度结构。为解决此问题，我们采用测地线流匹配，调整黎曼传输动力学，严格限制去噪流在SSP环形流形上。我们在脉冲神经SLAM系统中验证了该方法，结果表明，流形感知的清理能够稳定对抗漂移的路径积分。与竞争基线相比，该方法实现了72%的跟踪误差降低和40%的神经效率提升。代码可在https://github.com/kremHabashy/CleanupSSP获取。

机器学习，ICML

## 1 引言

神经符号AI旨在结合神经网络的鲁棒性与符号推理的结构化组合性。该方法的核心是向量符号代数，它将符号信息编码为高维分布式向量。VSA系统鲁棒运行的一个关键需求是“清理”：将含噪声的、组合的或部分输入映射回有效、干净状态的能力。虽然这在离散符号领域已得到充分探索（例如，通过Hopfield网络(Hopfield, 1982; Stewart等, 2011; Ramsauer等, 2020)），但在连续表示中仍是一个未解决的挑战，因为“有效”状态形成一个连续流形，而非一组离散吸引子。

近期理论工作表明，生成式去噪作为一种现代、连续的补全模式。Hoover等人(2023)强调了扩散模型与关联记忆之间的交集，其中去噪分数匹配与吸引子网络中的能量最小化相平行。与容量有限的经典模型不同，生成式传输模型展现出涌现的泛化能力，即使在流形未探索区域也能重建有效状态(Pham等, 2025)。

然而，将这些生成能力转化为实时的神经符号系统面临独特挑战。虽然扩散模型功能强大，但它们依赖迭代随机采样，需要大量函数评估，这对于机器人领域（例如同时定位与地图构建）的低延迟任务来说过于缓慢。条件流匹配(Lipman等, 2022)通过回归一个确定性速度场解决了这一问题（以显著更少的步骤实现了与扩散相当的性能），但假设平坦的欧几里得几何。最后，近期工作已成功将此框架推广到黎曼流形，实现了在一般几何上的流匹配(Chen and Lipman, 2024)。然而，这些探索主要集中于低维数据和简单（高斯）目标分布。

最近，空间语义指针被提出作为VSA的连续扩展，将空间变量编码为高维向量（d > 1000）。先前的清理方法对SSP无效，因为这些表示驻留在嵌入单位超球面S^{d-1}内高度结构化的克利福德超环面上。我们证明标准欧几里得流匹配在此情况下失效，因为其线性插值“切割”超球面内部，导致向量幅度崩溃，并破坏恢复编码特定位置的SSP所需的精确相位关系。

为解决此问题，我们采用测地线流匹配，将对数映射和指数映射调整到高维环形神经符号表示。通过限制传输到黎曼流形上，我们确保清理过程保持几何一致性。为了在具有挑战性的应用中展示该方法，我们选择了脉冲神经网络。脉冲网络在类脑硬件上运行时提供了有用的效率提升，但给神经表示引入了显著额外噪声，使鲁棒行为变得困难(Pfeiffer and Pfeil, 2018)。因此，脉冲网络是对神经表示鲁棒清理的一个严峻考验。与竞争基线相比，我们实现了72%的路径误差降低和40%的神经效率提升。该应用，语义SLAM(Dumont等, 2023)，作为一个连续的神经符号基准：整个流水线依赖VSA绑定和解绑定操作，其正确性直接取决于清理后表示的几何保真度。

我们的工作将流匹配适应于高维测地线，为超球面嵌入（这一几何在现代AI中日益核心）提供了一个鲁棒框架。这直接应用于如超球面原型网络(Mettes等, 2019)用于统一分类，以及超球面变分自编码器(Davidson等, 2018)用于稳定潜在建模。通过确保传输在流形上保持几何一致，我们的方法使得在向量方向而非幅度编码语义的任何系统中，都能实现高容量关联记忆(Schlegel等, 2022)。

## 2 相关工作

#### 连续认知表示

向量符号架构近年已从专注于离散符号系统演变为建模连续认知过程的鲁棒框架。特别是，空间语义指针已成为将连续变量编码为高维分布式表示的主要方法(Komer等, 2019)。随后研究表明，利用六边形网格基模拟网格细胞的放电率可以优化这些表示的准确性(Dumont and Eliasmith, 2020)。SSP还被用于建模复杂动态系统，允许对混沌吸引子的轨迹预测(Voelker等, 2021)。这种表示能力已应用于生物导航(Komer and Eliasmith, 2020)和SLAM(Dumont等, 2023)，以及海马-内嗅回路中组合关系的建模(Kymn等, 2024)。在所有这些案例中，清理（去噪）在实现网络的鲁棒性能中起着关键作用。

尽管这些先前工作展示了SSP的实用性，但它们主要依赖经典的清理机制（例如，离散网格查找或凸优化）来处理噪声。这些方法往往难以扩展，并在更高噪声水平下失效。

#### 生成式去噪作为关联记忆

为应对经典清理的局限性，我们转向关联记忆与生成建模的交集。Hoover等人(2023)和Pham等人(2025)已证明迭代生成式去噪在理论上等价于连续吸引子网络中的能量最小化。这表明现代生成模型可以作为VSA历史上缺乏的“动态清理”机制。事实上，近期研讨会已明确呼吁缩小认知架构与生成模型之间的鸿沟(Furlong and Eliasmith, 2023)，指出VSA提供了黑箱生成模型所缺乏的必要组合结构。

#### 几何约束与流形学习

将现成生成模型应用于SSP因几何不匹配而失效。正如几何深度学习蓝图(Bronstein等, 2021)所论证的，在非欧几里得数据（网格、群、测地线）上施加欧几里得先验会导致样本效率低下和对称性破坏。这一问题在机器人学中已有充分记录，标准扩散模型无法生成有效的方向轨迹，因为它们违反了旋转群SO(3)的拓扑结构(Braun等, 2024)。为解决此问题，我们借鉴了Chen和Lipman(2024)引入的黎曼流匹配。通过定义基于测地线而非线性插值的概率路径，该框架允许在复杂流形上进行精确似然训练。虽然该方法已成功应用于机器人运动规划(Braun等, 2024)和蛋白质折叠(Yim等, 2023)等领域，但尚未被用于像VSA那样的高维结构化表示。我们的工作是首个将此几何公式扩展到高维空间和具有非高斯统计的拓扑结构的工作，弥合了关联记忆与有效神经符号清理之间的差距。

## 3 背景

### 3.1 向量符号架构 (VSAs)

VSA是将结构化信息编码为高维分布式向量的表示框架，通过代数运算实现符号操作。我们聚焦于全息约化表示，一种通过绑定（循环卷积）关联概念的VSA类型(Plate, 1995)。概念用随机高维向量表示，通过以下运算在叠加下实现组合性和噪声鲁棒性。

- •**相似度**：通过点积⟨ψ, γ⟩测量。
- •**捆绑（叠加）**：逐元素相加δ = ψ + γ。结果与两个输入都相似，允许表示集合。
- •**绑定（组合）**：循环卷积δ = ψ ⊛ γ。结果与输入准正交，但以压缩格式保存信息（例如，分配角色如COLOR ⊛ RED）。
- •**解绑定**：近似逆ψ^{-1}检索信息（例如，δ ⊛ ψ^{-1} ≈ γ + 噪声）。

全息约化表示能够表示复杂结构（例如，OBJ = SHAPE ⊛ SQUARE + COLOR ⊛ RED）。然而，解绑定操作会引入与存储项数量成正比的噪声项，因此需要鲁棒的清理机制。

### 3.2 空间语义指针 (SSPs)

空间语义指针通过基于频率的编码，将连续坐标x∈R^m扩展为高维向量φ(x)∈R^d。如Dumont and Eliasmith (2020)所定义，表示在傅里叶域中构建为相量向量：

φ̃(x)_j = e^{i⟨θ_j, x⟩}，其中编码矩阵Θ = [θ_1, ..., θ_d]^T ∈ R^{d×m}由源自缩放六边形网格基的列向量θ_j组成（具有共轭对称性）。这一构造确保得到的实值向量位于嵌入单位超球面S^{d-1}内的克利福德超环面上。

两个SSP之间的点积诱导一个测量空间邻近性的相似核（图1）。

参考文献图1：空间语义指针（SSP）表示（d=487），通过计算输入与域内SSP嵌入的相似度来显示2D输入。

局部上，SSP流形是平坦的，绑定对应于嵌入空间域中的加法：

φ(x_1) ⊛ φ(x_2) = F^{-1}{e^{iΘℓ x_1} ⊙ e^{iΘℓ x_2}} = φ(x_1 + x_2)

SSP的一个关键优势是能够与其他VSA表示绑定形成**认知地图**。例如，考虑编码猫位于(x_1, y_1)、老鼠位于(x_2, y_2)、奶酪位于(x_3, y_3)：

M = CAT ⊛ φ(x_1, y_1) + MOUSE ⊛ φ(x_2, y_2) + CHEESE ⊛ φ(x_3, y_3)

该地图可以通过近似解绑定查询对象或它们的位置，例如，

M ⊛ φ(x_3, y_3)^{-1} ≈ CHEESE + ε, (1)

其中ε表示来自其他项的干扰。我们在第5.4节演示了SLAM系统中的这种表示。这激发了下一节，该节正式量化了SSP中的噪声来源。

### 3.3 噪声的几何结构

VSA操作和脉冲神经实现引入的噪声将向量推出有效流形，破坏了检索所需的几何属性。

#### 捆绑与解绑定（串扰噪声）。

在捆绑的记忆痕迹/认知地图中，查询一个项会引入来自其他项的干扰（例如，方程1）。依赖于构成向量的准正交性，该干扰缩放为噪声分布ε ∼ N(0, (n-1)/d I_d)。每个分量的方差随存储项的数量线性增长。

#### 递归中的累积相位漂移。

一个关键的噪声来源来自用于实现路径积分的递归连接。当SSP随时间更新时，尖峰时序或突触传递中的微小不准确性会累积为相位误差。对于单个傅里叶分量φ̃_j(x_t) = e^{i⟨θ_j, x_t⟩}，带有噪声的更新为：

φ̃_j^{(t+1)} = φ̃_j^{(t)} e^{i(Δθ_{j,t} + δ_{j,t})}, δ_{j,t} ∼ N(0, σ^2).