Homeostatic Continual Learning

# 稳态持续学习
来源：https://arxiv.org/html/2609.13771
本文中，我提出了一个持续学习问题，并提出一种名为“稳态持续学习”的方法，使AI智能体能够在变化的环境中持续学习而不发生灾难性遗忘。该方法的核心是在智能体输出出现异常时，从环境数据中寻找异常值。通过这种方法，智能体逐步完善其模型和策略，在越来越多的情境中表现出良好性能。我还建议可以使用该方法构建世界模型，智能体将世界中的物体分解为特征，将抽象物体转化为可比较的概念实例，并通过特征将概念映射到意图。我讨论了使该方法实用化所需的工作，与人工智能多个领域的联系，以及该方法更广泛的影响。

## 引言
在巴甫洛夫的实验中，巴甫洛夫呈现一个刺激（例如铃声）然后给狗食物；经过几次重复后，狗开始对刺激产生唾液分泌反应（Pavlov (1938) (https://arxiv.org/html/2609.13771#bib.bib6)）。狗学会该刺激与获取食物相关。经过数亿年的进化，动物大脑发展出持续适应变化环境条件并随时提出新解决方案的能力（Durstewitz, Averbeck, and Koppe (2025) (https://arxiv.org/html/2609.13771#bib.bib3)）。这些大脑不会遭受灾难性遗忘，并在学习新任务后保持先前任务的性能。最先进的AI智能体尚未获得这些能力。

本文中，我提出了一个持续学习问题，并提出一种方法，使AI智能体能够在变化的环境中持续学习而不发生灾难性遗忘。我将该方法称为“稳态持续学习”。该方法的核心是在智能体输出出现异常时，从环境数据中寻找异常值。随着环境变化，智能体经历许多情境。智能体未被告知情境变化。它观察到先前情境中学习的模型和策略停止工作。它从输出的这种异常中检测到新情境。它识别环境数据中具有异常值的子集，在该子集上定义新特征，并用该子集扩展其模型和策略。随着时间的推移和多次迭代，智能体逐步完善其模型和策略，在越来越多的情境中表现出良好性能。

通过该方法，智能体将世界中的物体分解为特征，将抽象物体转化为可比较的概念实例，并通过特征将概念映射到意图。学习结果是其世界模型。这种分解使智能体能够降低决策复杂性，并组合学习到的特征以更好地适应新情境。

本文结构如下。第2节 (https://arxiv.org/html/2609.13771#S2) 提出了持续学习问题。第3节 (https://arxiv.org/html/2609.13771#S3) 用一个例子说明问题和方法。第4节 (https://arxiv.org/html/2609.13771#S4) 描述了该方法及其一些扩展。第5节 (https://arxiv.org/html/2609.13771#S5) 展示了该方法的优点，包括构建基于特征分解的世界模型和解决灾难性学习问题。第6节 (https://arxiv.org/html/2609.13771#S6) 讨论了使该方法实用化所需的工作。第7节 (https://arxiv.org/html/2609.13771#S7) 讨论了该方法与人工智能多个领域的联系。第8节 (https://arxiv.org/html/2609.13771#S8) 以对该方法更广泛影响的讨论作结。

## 问题
如图1 (https://arxiv.org/html/2609.13771#S2.F1)a所示的强化学习（Sutton, Barto, and Barto (1998) (https://arxiv.org/html/2609.13771#bib.bib8)）受到动物学习行为的启发。智能体从环境中接收状态和奖励。它找到最大化累积奖励的最优策略。但有一个问题很少被讨论且尚未解决。那就是智能体如何从从环境接收的所有数据中学习将哪些数据包含在状态中。此外，某物成为奖励是因为智能体使用该物来满足其意图。实际问题如图1 (https://arxiv.org/html/2609.13771#S2.F1)b所示。它主要与Van de Ven, Tuytelaars, and Tolias (2022) (https://arxiv.org/html/2609.13771#bib.bib9)中的领域增量学习相关。我定义该问题如下。

参见图1：问题：智能体需要识别与其意图相关的数据流
智能体需要满足一个意图。意图是将特定条件维持在某个值的欲望。现实世界的例子包括“不挨饿”或“满足服务等级协议（SLA）”。智能体需要为不同情况找到正确的动作，即策略，以满足意图。

它从环境中接收许多数据流。环境有许多物体。每个物体有多个特征。例如，苹果有形状、颜色、味道、大小等。这些特征产生数据流。例如，颜色和形状可以用像素表示。通常，单个特征可以产生一个或多个数据流，一个数据流可以由多个特征的交互产生。以后者为例，智能体感知到的苹果颜色可能在不同的光照条件下发生变化。起初，智能体只接收数据流，特征尚未定义。并非所有特征都与问题相关。因此并非所有数据流都是相关的。智能体需要识别相关数据流，定义相关特征，构建将数据流映射到意图结果的模型，并找到策略。意图和数据流都是持久的。这是一个持续学习问题。

数据不会同时显示所有相关特征的效果。有些特征保持静态或被掩盖很长时间，未提供其效果的信息。我将不显示其效果的特征称为“静态”特征，将显示其效果的特征称为“活跃”特征。例如，老鼠需要按下特定形状和颜色的按钮来获取食物；如果向其展示多个形状相同但颜色不同的按钮，则形状是静态特征，颜色是活跃特征。静态特征和活跃特征及其值的不同组合形成不同情境。当静态特征在另一个情境中活跃，或从一个情境到另一个情境改变其值时，它变为活跃特征。例如，当按钮形状从一个情境到另一个情境从圆形变为正方形时，它变为活跃特征。智能体在情境中接收数据流。它基于所经历的情境识别相关数据流，定义相关特征，构建模型并找到策略。在智能体通过情境识别所有相关特征之前，意图的模型是不完整的。对于智能体已经经历的所有相关特征，模型是完整的。由于智能体可能永远不会经历所有相关特征，模型对于某些意图可能永远不完整。

我假设情境持续时间足够长，智能体可以学习其模型和策略，并且数据流与意图结果之间的关系是确定性的。在本研究中，我研究满足以下假设的特殊情况。

1. \(I\) 数据流与特征之间存在双射映射。
2. \(II\) 静态特征在所有情境中保持静态。仅当从一个情境到另一个情境改变值时变为活跃。
3. \(III\) 从一个情境到另一个情境，只有一个静态特征改变值。活跃特征具有相同的值集。

我将在第4节 (https://arxiv.org/html/2609.13771#S4) 讨论假设的放宽。

我将持续学习问题表述如下。智能体有一个将条件 \(y\) 维持在某个值 \(r\) 的意图。它有一个动作集 \(U\)，从中可以选择动作 \(u \in U\)。采取动作 \(u\) 后，它观察到意图的结果 \(y\)。它需要找到满足意图 \(y=r\) 的动作 \(u\)。

智能体从环境中接收许多数据。数据以向量形式呈现 \(X=(x_0,x_1,x_2,...)\)。数据由环境中物体的特征 \(F=(f_0,f_1,f_2,...)\) 生成。特征最初未定义。在此特例中，数据流与特征之间存在双射映射。并非所有特征都与问题相关。因此，并非所有数据流都是相关的。相关数据流的集合是 \(X^r\)。智能体需要识别 \(X^r\)，定义相关特征 \(F^r\)，基于这些数据流构建模型 \(y=y(u,X^r)\)，并找到策略 \(u=\pi(X^r,r)\) 使得 \(y=r\)。图2 (https://arxiv.org/html/2609.13771#S2.F2) 提供了该问题的示意图。

参见图2：问题表述。智能体观察数据流 \(X\)。它需要识别相关的 \(X^r\) 并定义相关的 \(F^r\)。它需要学习模型 \(y=y(u,X^r)\) 和策略 \(u=\pi(X^r,r)\) 以满足意图 \(y=r\)。
活跃特征和静态特征及其值的不同组合形成不同情境。由于特征最初未定义，智能体只在情境中观察到来自这些特征的数据流。如图3 (https://arxiv.org/html/2609.13771#S2.F3) 所示，情境是 \(c=(X^a=(x^a_0 \in V^c_0,x^a_1 \in V^c_1,...),X^r \setminus X^a=(x^{a-}_0=v^c_0,x^{a-}_1=v^c_1,...))\)，其中集合 \(X^a\) 包含情境中所有活跃数据流，集合 \(V^c_i\) 包含 \(x^a_i\) 在情境中所有可能的值，而 \(v^c_i\) 是 \(x^{a-}_i\) 在情境中的值。所有可能的情境是 \(C=\{c\} \subseteq \mathcal{P}(X^r) \times \Pi_i \mathcal{P}(V^r_i)\)，其中 \(\mathcal{P}\) 是幂集运算，\(V^r_i\) 包含 \(x_i\) 数据流的所有可能值。特征定义后，情境变为 \(c=(F^a,F^r \setminus F^a)\)。初始情境中活跃特征的集合是 \(F^a_0\)。在此特例中，\(F^r \setminus F^a_0\) 中的特征在每个情境中保持静态。它们的值可以从一个情境到另一个情境改变。智能体随时间经历不同的情境 \(c_0,c_1,c_2,...\)。它至今经历的情境集合是 \(C_n=\{c_0,c_1,...,c_n\}\)。从经验 \(C_n\)，智能体需要识别相关数据流 \(X^r_n \subseteq X^r\)，定义相关特征 \(F^r_n \subseteq F^r\)，构建意图模型 \(y=y_n(u,X^r_n)\)，并找到策略 \(u=\pi_n(X^r_n,r)\) 以满足意图 \(y=r\)。

参见图3：情境。活跃和静态数据流的组合形成情境。
## 例子
我用一个计算领域的风格化例子来说明持续学习问题和方法。该例子在图4 (https://arxiv.org/html/2609.13771#S3.F4) 中说明。

图4：例子。智能体决定服务器数量 \(u\) 以控制系统中的响应时间 \(y\)。它有意图满足响应时间要求 \(y=r\)。它观察数据流 \(X\)。它需要识别相关的 \(X^r\)，定义相关的 \(F^r\)，并学习模型和策略。
一个智能体管理一个服务器池，并决定满足响应时间 \(y\) 要求 \(r\) 的最小服务器数量 \(u\)。它从环境接收数据流。数据流以向量形式 \(X=\{x_0,x_1,x_2,x_3\}\) 呈现。特征最初未定义。相关特征的集合是 \(F^r=\{f_0,f_1\}\)，其中 \(f_0\) 是工作负载中数据包的到达率，生成 \(x_0\)，\(f_1\) 是数据包大小，生成 \(x_1\)。数据流 \(x_2\) 和 \(x_3\) 由与决策无关的特征生成。初始情境中活跃特征的集合是 \(F^a_0=\{f_0\}\)，静态特征的集合是 \(F^r \setminus F^a_0=\{f_1\}\)。智能体需要定义相关特征。在接收数据流样本后，它需要决定服务器数量 \(u\)，执行决策并观察响应时间 \(y\) 的结果。它需要构建意图模型并找到策略。

智能体经历2个情境：初始情境 \(c_0=(x_0 \in V^0_0,x_1=v^0_1)\)，新情境 \(c_1=(x_0 \in V^1_0,x_1=v^1_1)\)，其中 \(x_1\) 取新值 \(v^1_1\)。当 \(x_1\) 从情境 \(c_0\) 到 \(c_1\) 改变值时，它变为活跃。换句话说，它在至今的经验 \(C_1=\{c_0,c_1\}\) 中活跃。智能体未被告知情境何时改变。它需要检测新情境。我在图5 (https://arxiv.org/html/2609.13771#S3.F5) 中显示了随时间的数据流。初始情境 \(c_0\) 从时间索引0到39。新情境 \(c_1\) 从时间索引40到79。时间索引80到99用于测试的情境 \(c_0\) 和 \(c_1\) 的组合。

我用情境 \(c_1\) 的检测和 \(c_1\) 中的学习来展示该方法。该方法的核心是在意图结果出现异常时，从数据流中寻找异常值。在情境 \(c_1\) 出现之前，通过初始情境 \(c_0\) 的学习，智能体有一组现有相关数据 \(X^r_0=\{x_0\}\)，一组现有相关特征 \(F^r_0=\{f_0\}\)，一个现有模型 \(y=y_0(u,X^r_0)\)，和一个现有策略 \(u=\pi_0(X^r_0,r)\)。它使用贝叶斯优化构建模型并找到策略。

策略 \(\pi_0\) 在情境 \(c_1\) 中对智能体一直运作良好。当智能体观察到相关数据流 \(x_0\) 的新样本时，它从策略 \(\pi_0\) 获得服务器数量 \(u\)。它执行动作并观察到响应时间 \(y\) 符合要求 \(r\)。更具体地说，智能体在贝叶斯优化期间收集后验方差。当 \(x_0\) 的新样本到来时，如果模型 \(y_0\) 在 \(u=\pi_0(X^r_0,r),X^r_0\) 处的先验方差在收集的后验方差样本的2个标准差内，智能体认为模型 \(y_0\) 具有良好的确定性，可以应用动作 \(u\) 并期望响应时间 \(y=r\)。它在执行动作后确认其期望。图6 (https://arxiv.org/html/2609.13771#S3.F6) 说明了智能体使用