学习访问计算：Accessibility Plasticity——自适应智能的一个原则

# 可访问性可塑性：自适应智能的一个原则
来源：https://arxiv.org/html/2607.22748
## 学习访问计算：可访问性可塑性作为自适应智能的一个原则

###### 摘要

现代神经网络主要通过在预定义的计算结构内修改参数来进行适应。尽管近期的方法引入了模块化、条件计算和参数高效适配，但它们通常不将计算能力与计算可访问性区分为独立的适应变量。本文引入了**可访问性可塑性**（Accessibility Plasticity），一个自适应计算的原则，其中系统不仅通过改变存在的计算来适应，还通过重新组织哪些现有计算可以交互和参与来适应。我们通过一种基于关系的操作实现来形式化可访问性可塑性，并建立了一个**重用优先**的适应层级，其中可访问性修改先于更昂贵的能力和结构变化。在序列学习任务上的概念验证评估表明，可访问性适应可以在保持相当任务性能的同时减少能力修改。这些结果表明可访问性是一个独立的适应维度，并为未来的动态神经系统奠定了基础，这些系统的计算关系会随着环境的变化而演化。

## 关键词

可访问性可塑性；自适应计算；持续学习；神经可塑性；条件计算；动态神经系统

## 1 引言

大多数当代人工神经系统是在以参数为中心的学习范式下优化的：在部署前指定一个计算架构，而适应主要通过在该固定计算组织内修改数值参数来实现[13](https://arxiv.org/html/2607.22748#bib.bib1)。这一范式在大规模感知、语言建模和决策制定方面取得了显著进展，现代基础模型通过大规模预训练和参数优化实现了前所未有的能力[22](https://arxiv.org/html/2607.22748#bib.bib2), [5](https://arxiv.org/html/2607.22748#bib.bib3), [16](https://arxiv.org/html/2607.22748#bib.bib4), [4](https://arxiv.org/html/2607.22748#bib.bib5)。然而，当部署在具有持续变化的数据分布、任务和操作条件的动态环境中时，以参数为中心的适应仍然代价高昂且容易发生灾难性遗忘，限制了保存和高效重用先前获得的能力[17](https://arxiv.org/html/2607.22748#bib.bib6)。

最近的探索通过引入模块化[18](https://arxiv.org/html/2607.22748#bib.bib7)、条件计算[3](https://arxiv.org/html/2607.22748#bib.bib8)和参数高效适配[6](https://arxiv.org/html/2607.22748#bib.bib9)来提供替代方案。残差架构如ResNet[8](https://arxiv.org/html/2607.22748#bib.bib10)展示了保留现有计算通路的价值，而图神经网络[12](https://arxiv.org/html/2607.22748#bib.bib11), [2](https://arxiv.org/html/2607.22748#bib.bib12)则强调了计算单元之间的关系在信息传播中的作用。适配器[10](https://arxiv.org/html/2607.22748#bib.bib13)和低秩适配[11](https://arxiv.org/html/2607.22748#bib.bib14)通过限制参数更新来降低修改成本，而专家混合[21](https://arxiv.org/html/2607.22748#bib.bib15)、注意力机制[22](https://arxiv.org/html/2607.22748#bib.bib2)和路由策略[20](https://arxiv.org/html/2607.22748#bib.bib16)则动态调节信息流和组件选择。然而，这些方法通常是作为特定于架构的机制开发的，而不是作为统一的自适应原则。它们操纵连接性、参数子集、专家选择或信息路由，但没有明确区分计算能力与计算可访问性，也没有将计算之间不断演化的关系视为一等自适应对象。

生物智能表明，这种分离可能是基础性的。[7](https://arxiv.org/html/2607.22748#bib.bib17)生物体很少通过立即重建其整个计算机制来应对环境变化；相反，适应发生在多个时间尺度上[19](https://arxiv.org/html/2607.22748#bib.bib18)。现有通路尽可能被重用[1](https://arxiv.org/html/2607.22748#bib.bib19)，功能关系和活动模式被重新组织，突触强度被修改[14](https://arxiv.org/html/2607.22748#bib.bib20)，而只有在更长的时间尺度上才会发生大规模的结构重组[9](https://arxiv.org/html/2607.22748#bib.bib21)。这种顺序表明，高效适应不仅依赖于学习新计算，还依赖于动态控制对现有计算资源的访问[15](https://arxiv.org/html/2607.22748#bib.bib22)，这激发了本文引入的**可访问性可塑性**概念。

本文研究以下问题：

**人工智能系统是否可以通过先修改现有计算的访问方式，再修改现有计算本身，从而实现更高效的适应？**

我们引入**可访问性可塑性**作为一个独立的适应自由度，将计算能力与计算可访问性分开：前者描述系统可以执行何种变换，后者描述在适应过程中哪些计算组件能够交互。在这种视角下，学习不仅是一个改变计算算子的过程，也是一个重新组织现有计算之间关系的过程。

我们通过一个基于关系的计算系统来形式化这一原则，在该系统中，能力和可访问性作为独立的状态演化。提出的**重用优先**原则优先进行可访问性适应，然后再进行更昂贵的能力或结构修改。我们通过概念验证评估表明，在序列学习场景中，可访问性适应可以在保持相当任务性能的同时减少能力修改。本文研究的操作机制是可访问性可塑性的一种实现，为未来的自适应系统奠定了基础，这些系统的计算关系会随着环境变化而持续演化。

## 2 概念框架

### 2.1 能力、可访问性与范围

神经网络计算的标准前馈描述可以总结为：
架构 → 参数 → 计算。
在这种观点下，架构决定了哪些变换可以相互作用，而学习到的参数决定了沿着这些固定路径实现的具体行为。

提出的视角引入了一个额外的维度。架构并不完全决定实际的计算；它只提供潜在的计算。可访问的计算取决于那些决定现有能力在当前条件下能否相互交互的关系。

自适应计算基板（Adaptive Computational Substrate）是此处用来表示这一思想的正式对象。它本身不是主张。主张是：可访问性应该被当作一个独立的计算对象，与能力并列，并且它的适应可以先于计算能力的修改。

在最紧凑的层面上，本文区分了两个基本的计算对象：
- \(W\)：决定了存在什么计算；
- \(\mathcal{A}\)：决定了什么计算是可访问的。

该理论关注第二个对象，而不将其还原为第一个。

本文并不声称提供了一个完整的智能理论。它提出了一个缺失的自适应自由度：计算系统独立于能力修改可访问性的能力。因此，本文的目的是隔离并形式化该自由度，而不是声称所有适应都归结为这一单一机制。

### 2.2 重用优先于修改

概念原则是：

> *一个智能自适应系统应在调用更昂贵、更持久的修改形式之前，先穷尽更便宜、更可逆的修改形式。*

这一原则改变了优化目标。传统优化主要关注最大化任务性能。而提出的范式寻求**性能-高效适应**：

\[
\max \frac{P(\mathcal{T}) \cdot R(\mathcal{S})}{C_{\mathrm{adapt}}}
\]
其中 \(P(\mathcal{T})\) 表示任务性能，\(R(\mathcal{S})\) 表示基板的计算重用度，\(C_{\mathrm{adapt}}\) 表示改变系统的代价。

这一转变既是概念性的也是技术性的：智能不仅是实现目标的能力，也是通过高效重用现有计算资源来实现目标的能力。这一公式对于持续学习尤其相关，因为反复的参数覆盖可能成为一种负担。

### 2.3 可访问性可塑性 vs. 选择

选择回答的是“现在应该使用哪条已经可访问的路径”。可访问性可塑性回答的是“如何通过经验改变未来可访问计算的结构”。前者是在给定可访问性状态下的推理时选择；后者是对该可访问性状态本身的学习时修改。

这种区分很重要，因为选择机制可以在已有的可能性中进行选择，而不改变使那些可能性可用的基板。可访问性可塑性则改变了可访问性景观，使得未来的计算因过往经验而塑造。因此，可访问性不仅仅是一个要在单一终点优化的参数。它可以被当作一个动态演化的计算状态，其轨迹反映了与变化环境的交互。

## 3 形式化

### 3.1 自适应计算基板

我们将基板表示为一个无向图：
\[
\mathcal{G} = (V, E)
\]
每个节点 \(v_i \in V\) 是一个计算单元：
\[
v_i = (W_i)
\]
其中 \(W_i\) 表示局部转移算子，节点本身不存储持久的节点状态。对于瞬态输入信号 \(x_i^t\)，节点计算：
\[
\tilde{x}_i^{\,t} = W_i x_i^t,
\]
因此节点仅贡献其转移矩阵，在这个阶段不引入额外的非线性变换。

每个无向关系索引 \(e_{ij}=e_{ji} \in E\) 标记一个潜在的计算关系。与该潜在关系相关的自适应计算对象是关系状态：
\[
R_{ij}=(\mathcal{F}_{ij}, d_{ij}),
\]
其中 \(\mathcal{F}_{ij}\) 是学习到的兼容性函数，\(d_{ij} \ge 0\) 表示计算阻力。给定信息流，关系状态评估交互的兼容性并修改该计算关系的未来可访问性。演化中的关系状态已经编码了先前交互的历史，因此不需要单独的关系记忆变量。

### 3.2 关系状态与可访问性

在自适应计算基板中，计算并非仅由计算单元的存在或它们之间的固定连接决定。相反，计算单元之间的关系定义了一个自适应可访问性结构，该结构决定哪些变换可以参与当前计算。

关键的是，可访问性并不等同于关系集 \(E\)。集合 \(E\) 指定了基板中的潜在关系，而可访问性指定了在当前自适应状态下哪些关系在计算上变得可用。因此，关系状态是可访问性的一种实现，而非可访问性本身。

对于计算单元 \(i\) 和 \(j\) 之间的潜在关系，关系状态评估一个交互倾向：
\[
s_{ij}^t = \mathcal{F}_{ij}(x_i^t, x_j^t),
\]
其中 \(\mathcal{F}_{ij}\) 代表一个判别机制，评估两个计算能力之间的交互在计算上是否有意义。

该倾向被一个阻力项调制：
\[
z_{ij}^t = s_{ij}^t - \beta d_{ij},
\]
其中 \(d_{ij} \ge 0\) 表示建立该关系的内在难度，\(\beta\) 控制阻力的影响。

关系的可访问性由下式确定：
\[
a_{ij}^t = g(z_{ij}^t),
\]
其中 \(g(\cdot)\) 将评估的倾向映射为一个可访问性状态。得到的可访问性并不代表消息权重。相反，它定义了该计算关系在当前基板配置下是否以及多大程度上变得可用。

因此，在时间 \(t\) 有效的计算基板由可访问关系集诱导：
\[
E_t^* = \{(i,j) \in E \mid a_{ij}^t > \theta\},
\]
形成动态可访问的基板：
\[
\mathcal{G}_t = (V, E_t^*).
\]
多个自适应关系可能同时变得可访问，在诱导基板 \(\mathcal{G}_t\) 内产生并行的计算通路。因此，系统不依赖于单一预定的执行轨迹。相反，计算从活跃关系的集体配置中涌现。

核心区别在于，关系不是被动的通信通道。它们的状态是自适应计算结构，评估、启用、抑制并重塑现有能力之间的未来可访问性。

在原则层面，可访问性根据一个抽象更新算子演化：
\[
\mathcal{A}_{t+1} = \mathcal{P}_{\mathcal{A}}(\mathcal{A}_t, \mathcal{X}_t).
\]
这个方程特意比概念验证实验中使用的特定关系状态实现更通用。它指出可访问性是一个时间索引的计算对象，其未来状态可能依赖于其当前配置和遇到的环境 \(\mathcal{X}_t\)。对 \(\mathcal{F}_{ij}\) 或 \(d_{ij}\) 的更新是该原则的可能实现，而非可访问性可塑性本身的定义。

### 3.3 计算解释

该模型分离了两个通常纠缠的概念：

- **节点算子** 决定了 *什么* 局部计算可以被执行；
- **可访问性状态** 决定了 *是否以及如何* 现有的计算可以被到达。

这种分离是该范式的核心设计动作。因此，学习不仅是获取或修改计算能力。它也是重新组织对基板中已有能力的访问。系统可以通过重塑与现有算子的关系来响应新任务，而无需重写算子本身。

与传统的神经网络（其中学习主要存储在节点参数中）不同，提出的基板允许学习从计算单元之间关系的演化中涌现。适应通过计算关系的演化发生，而不是通过显式存储交互历史。