Vector Symbolic Policy Gradient

# 向量符号策略梯度  
来源：https://arxiv.org/html/2608.18404  
Sanggeon Yun  
所属单位：加州大学尔湾分校  
SungHeon Jeong  
所属单位：加州大学尔湾分校  
Hyunwoo Oh  
所属单位：加州大学尔湾分校  
Raheeb Hassan  
所属单位：加州大学尔湾分校  
Pietro Mercati  
所属单位：英特尔公司  
Nathaniel D. Bastian  
所属单位：约翰斯·霍普金斯大学  
Mahdi Imani  
所属单位：东北大学  
Mohsen Imani  
所属单位：加州大学尔湾分校  

###### 摘要

向量符号架构（VSA）建立在一个简单理念之上：分布式记忆可通过轻量级代数学习，并且即使其比特不可靠仍能保持效用。然而，这一视角很少与离散动作策略梯度直接关联。我们提出向量符号策略梯度（VSPG），一种通过单位范数超向量表示每个动作并依据与编码状态的相似性选择动作的分类演员。我们证明标准软最大化策略梯度步骤具有精确的向量符号解释：优势加权状态超向量被打包进所选动作的记忆中，并在竞争记忆中被抑制，随后进行行归一化，因此演员可闭式训练，无需优化器状态且逻辑值有界。在训练过程中，这些记忆成为固定大小的压缩核扩展，无需在推理时保留历史样本即可将优势证据跨相似状态传递。在经典控制、MiniGrid 和多智能体 SustainGym 任务中，VSPG 实现了具有竞争力的回报和良好的学习速度。其分布式动作记忆在训练后量化和随机比特翻转下的退化程度也显著优于神经网络和线性演员，使 VSPG 成为不可靠边缘系统的有前景的演员方案。匿名代码可在此处获取（https://github.com/BiasLabProjects/VSPG.git）。

## 1 引言

向量符号架构（VSA），也称为超维计算（HDC），是一种受大脑启发的计算范式，根植于认知科学中的分布式表征理论 [12, 26]。VSA 使用高维分布式向量或超向量表示数据，并通过相似性搜索、打包、绑定和归一化等简单操作执行计算。

使用 VSA 作为学习表征的两个属性至关重要。首先，在高维空间中独立生成的超向量近乎正交，允许将大量信息以有限干扰叠加到单个记忆中，并支持噪声下的优雅降级 [13, 8]。其次，VSA 编码器 φ 将输入映射到显式的高维内积空间，其中 φ(x)⊤φ(x') 可被设计以保持输入间有意义的相似性。这为 VSA 编码器与核近似方法建立了理论联系 [33, 46]。这些特性共同推动了 VSA 在轻量级和资源受限学习系统中的应用，近期工作涵盖智能感知、IoT 设备硬件加速 [42, 20, 3, 5, 2]。

这些特性对强化学习（RL）中的部署鲁棒性尤为重要，因为实际智能体可能在低精度执行或不可靠内存下运行，存储策略参数的比特级损坏会降低自主决策能力 [7, 36, 37]。VSA 为暴露于量化和模型状态故障的轻量级 RL 策略提供了天然的表示级基底。现有基于 VSA 的 RL 方法大多在算法和应用层面使用超向量，要么通过 Bellman 回归训练为 Q 值近似器 [23, 24]，要么作为连续 actor–critic 控制的组件 [25, 14]，但留下一个基本问题：动作超向量能否直接参数化分类演员？其策略梯度更新能否写成向量符号记忆操作？

我们用向量符号策略梯度（VSPG）回答了这一问题，这是一种离散动作演员，每个动作由一个单位范数超向量表示，并根据与编码状态的相似性评分。在标准软最大化策略梯度替代目标下，我们证明其更新精确为优势加权超向量打包后归一化，因此支持标准优势估计器 [29, 40]。我们进一步证明，每个训练后的动作超向量是一个固定大小的压缩核记忆，存储了对访问状态的优势加权核扩展，并根据编码器诱导的相似性传递证据。这提供了一个具体机制，支持无需增加推理时内存的高效学习。最后，对于双极动作记忆，我们证明贪心动作选择在随机比特翻转下是稳定的，失败概率随超向量维度呈指数衰减。因此，VSPG 将 VSA 动作记忆、对数线性策略梯度和核策略搜索联系起来，同时提供了量化的鲁棒性保证。

我们在经典控制、MiniGrid [34, 6] 和多智能体 SustainGym 建筑控制 [38] 上评估 VSPG，与深度神经网络（DNN）和线性演员基线，以及 QHD [23] 这一针对离散动作 RL 的强值基 VSA 方法进行比较。在这些基准测试中，VSPG 实现了有竞争力的最终性能和优于匹配演员基线的样本效率。在训练后比特翻转损坏下，其分布式动作记忆也比 DNN 和原始线性演员更好地保持了性能，证明了在模型状态故障下的优雅降级。

我们的贡献如下：

- 我们引入 VSPG，一种离散动作策略梯度演员，每个动作由单位范数超向量表示，并证明其更新可精确解释为优势加权打包后行归一化。
- 我们证明训练后的动作超向量形成固定大小的压缩核记忆，并证明双极动作记忆对随机比特翻转具有鲁棒性。
- 我们在经典控制、MiniGrid 和多智能体建筑控制上评估 VSPG，与神经网络、线性和值基 VSA 方法进行比较，证明了其有竞争力的性能、良好的样本效率以及对量化和比特级故障的鲁棒性。

## 2 相关工作

### 2.1 VSA 和 RL 核策略

先前的 VSA-RL 方法主要在现有 RL 框架内使用超向量作为轻量级函数近似器。HDPG [25] 处理基于 VSA 的高斯演员和评论家的连续控制，而离散动作方法主要遵循基于值的 QHD 框架 [23, 24]，通过 Bellman 误差加权打包学习特定动作的 Q 值超向量。这条基于值的路线也已应用于网络安全、机器人、导航和感知应用 [10, 16, 17, 18]。VSPG 则直接用动作超向量参数化分类软最大化策略，将向量符号学习从值近似扩展到离散动作策略梯度。VSA 方法在单次通过和在线学习中也展示了良好的数据效率 [9, 41]，先前的 VSA-RL 研究报告了有前景的学习效率，其中 NavHD [17] 在机器人导航中提供了系统的多随机种子证据；VSPG 检查了这种行为是否扩展到离散动作策略梯度。VSPG 进一步连接了核化和对数线性策略搜索：核策略将动作分数表示为经验的扩展 [11, 19, 45]，而 VSPG 将该扩展叠加到每个动作一个固定大小的超向量中，推理时每个动作仅需一个内积。使用固定编码器，VSPG 是一个基于随机特征的对数线性软最大化策略 [28, 32]，其优化由已建立的策略梯度理论覆盖 [21, 1]。如表 1 总结，VSPG 通过精确的 VSPG 更新、固定大小的核记忆扩展和比特级损坏下的稳定性保证，连接了基于 VSA 的 RL、对数线性策略梯度和核策略搜索。

### 2.2 RL 模型状态损坏的鲁棒性

部署在资源受限系统上的 RL 策略可能受到存储策略本身损坏的影响 [39, 44, 7]。低电压操作和近似内存可能在模型参数中引入比特级错误，降低自主决策的可靠性。先前的工作主要通过故障感知训练、比特错误注入或针对神经策略的硬件级适配来解决这个问题 [15, 37, 36]。VSPG 则采用互补的表示级方法，将离散动作策略存储为分布式向量符号动作记忆。我们评估了量化和模型状态比特损坏下的退化，而我们的理论分析为固定相似性余量下的双极记忆提供了超向量维度的指数失败界（表 1）。

## 3 预备知识

### 3.1 强化学习和策略梯度

我们将问题表述为分散式部分可观测马尔可夫决策过程（Dec-POMDP），其包括完全可观测的单智能体 MDP 作为特例。Dec-POMDP 定义为 M = (I, S, {A_i}_{i∈I}, P, r, ρ_0, {X_i}_{i∈I}, O, γ)，其中 I 是智能体集合，S 是状态空间，A_i 和 X_i 分别是智能体 i 的动作和观测空间，P 是状态转移概率，r 是共享奖励函数，ρ_0 是初始状态分布，O 是观测，γ∈[0,1] 是折扣因子。在时间 t，环境处于状态 s_t，每个智能体接收观测 x_t^i 并选择 a_t^i ∼ π_{θ_i}(·|x_t^i)。联合动作 a_t = (a_t^i)_{i∈I} 决定后续转移和奖励。令 θ = {θ_i}_{i∈I} 表示联合策略参数。目标是最大化期望折扣回报：

J(θ) = E_{τ∼π_θ} [∑_{t=0}^{T-1} γ^t r_t], (1)

其中 τ 是由联合策略和环境产生的轨迹。对于分解的分散式策略，智能体 i 的策略梯度为：

∇_{θ_i} J(θ) = E_{π_θ} [∑_{t=0}^{T-1} Â_t^i ∇_{θ_i} log π_{θ_i}(a_t^i | x_t^i)], (2)

其中 Â_t^i 是优势估计 [31, 32]，从回报或演员-评论家估计器如广义优势估计（GAE）[14, 29, 30, 40] 获得。VSPG 使用相同的策略梯度目标，但用动作超向量表示每个分类演员，产生优势加权打包更新，适用于单智能体和多智能体设置。

### 3.2 VSA 基础

VSA 将输入编码为高维超向量，并通过打包（叠加）、绑定和相似性搜索进行计算。尽管打包和绑定可以通过不同方式实现，但在本文中它们分别指逐元素加法和逐元素乘法。令 h = φ(x) ∈ R^D 表示由固定编码器 φ 产生的超向量，在用于相似性搜索时进行归一化。随机超向量是准正交的，允许以有限干扰打包多项。

###### 引理 1（准正交性）。

设 u, v ∈ R^D 为独立随机单位向量，其中至少一个在球面上均匀分布。则 E[u⊤v] = 0，且对于每个 δ∈(0,1)，

Pr[|u⊤v| ≥ √(2 ln(2/δ)/D)] ≤ δ。

###### 证明。

以 v 为条件。根据旋转不变性，u⊤v 分布为单位向量的一个坐标，其球冠测度满足 Pr[|u_1| ≥ t] ≤ 2e^{-Dt^2/2} [35]；尾界和零均值由此得证。∎

此属性通过打包 m 个