深度强化学习中冻结随机CNN特征提取器的涌现稀疏性

# 冻结随机CNN特征提取器中深度强化学习的新兴稀疏性 来源：https://arxiv.org/html/2607.26059

######  摘要

我们报告了一个引人注目的现象：使用冻结、随机初始化的CNN特征提取器训练的深度强化学习智能体，在没有稀疏性诱导目标的情况下，自发地发展出极其稀疏的全连接表示。在第一个全连接层（FC1，3,136→64）中，智能体通过64个神经元中的仅1–3个（确定性Pong）压缩所有任务相关信息（而在粘性动作随机性下训练的Pong为5–11个），而可训练的CNN在匹配条件下激活55–64个神经元。我们建立了四个主要发现。首先，FC1稀疏性随游戏任务复杂度扩展：Pong为1–11，Breakout为19–26，Space Invaders约为42，宽度缩放实验证实这反映了任务结构，而非网络容量的固定比例。其次，在匹配超参数下的同游戏内缩放进一步证明：三个相同配方的冻结Pong种子产生了5、7和11个活跃神经元；5神经元种子奖励在+14处停滞，而7和11神经元种子达到专家水平（+18.4，+18.7）。对于n=3，这应被视为提示性结果而非平滑缩放定律，但它与随机投影的可使用维度在固定任务和容量下对可达性能设置上限的结论一致。第三，消融实验证实了必要性：移除活跃神经元导致两个PPO实现和四个游戏上的性能崩溃至随机水平。第四，信息瓶颈早期定型：对三个Pong种子的47个检查点扫描显示，活跃集在15–30M步时锁定，消融特征在5M步时已存在，而奖励在35–105M步后才变为正值，且随着三个种子间瓶颈容量收紧，滞后时间扩大（n=3，序数模式）。活跃集提前承诺的特性在可训练智能体中重复出现，但内容有质的差异（参与的是大的比例而非小的集合）。一个互补的跨机制发现：在Breakout中，冻结和可训练的CNN通过结构不同的瓶颈特征达到竞争性奖励。冻结智能体使用17–25个活跃神经元，参与比约为10–14（FC2输出激活）；可训练智能体使用51个，参与比约为3.6。活跃计数和参与比是表征压缩的互补指标。超越RL：无论输入维度何时远超内在任务维度，在冻结的随机投影上进行梯度下降可能揭示底层问题的有效秩，而无需显式的稀疏性机制。

## 1 引言

深度强化学习（DRL）在容量与结构之间存在根本性紧张关系。现代智能体部署数百万参数的神经网络来解决由少数状态变量控制的环境。Pong游戏（一种球拍游戏，两名玩家在场地上回击球）完全由球和两个球拍的位置和速度描述，大约五个连续变量。然而标准实践涉及端到端训练卷积神经网络（CNN），通过密集的分布式计算将高维像素输入映射到动作。虽然过参数化模型是有效的，但它们掩盖了任务的底层简单性。它们学会了解决问题，但没有揭示问题的结构。

近期工作越来越多地记录了这种过参数化引发的病理现象：表示秩坍塌降低了有效特征维度（Kumar等人，2021），休眠神经元积累并减少容量（Sokar等人，2023），可塑性损失损害学习新行为的能力（Lyle等人，2023；Dohare等人，2024），以及初始偏差导致对早期表示的过度承诺（Nikishin等人，2022）。这些现象有一个共同点：端到端训练产生了优化动态，这些动态与表示学习以复杂且常常适得其反的方式相互作用。

主导的稀疏性方法将其视为必须强加的东西。剪枝在训练后移除参数（Han等人，2015；LeCun等人，1990）。ℓ1正则化惩罚密集解（Tibshirani，1996）。彩票假说揭示了密集初始化中的稀疏子网络，但找到它们需要迭代幅度剪枝（Frankle & Carlin，2019）。即使强彩票假说证明了随机网络包含无需权值训练的高性能子网络，也需要通过 masking 算法进行显式搜索（Ramanujan等人，2020；Malach等人，2020）。在所有情况下，稀疏性是被工程设计的，而非涌现的。

在这项工作中，我们证明在特定的架构约束下——冻结、随机初始化的CNN特征提取器——稀疏性并非工程设计，而是从学习动态中涌现。当PPO智能体必须从固定的随机特征基础上构建策略时，它自发地收敛到利用一小部分可用神经元的解。在确定性Pong的极端情况下，智能体忽略超过95%的可用容量，仅用64个中的1–3个活跃神经元完成任务。在整个工作中，我们在适当情况下使用粘性动作（Machado等人，2018）——一种标准的Atari学习环境随机性协议，其中智能体先前动作以概率p_sticky=0.25在每个时间步重复——以确保发现反映的是真正的反应式控制，而非固定动作序列的记忆。

我们建立了四个主要贡献。

1. 跨游戏稀疏性随任务复杂度扩展：Pong为1–11活跃，Breakout为19–26，Space Invaders约为42。宽度缩放实验证实这反映了任务结构，而非容量（第4节）。
2. 在匹配超参数下的同游戏内容量受限缩放：三个相同配方的冻结Pong种子产生5/7/11个活跃神经元；5神经元种子达到+14.1，而7和11神经元种子达到专家水平（+18.4，+18.7）。对于n=3，这是提示性模式而非拟合的缩放定律，但它与随机投影的可使用维度在固定任务和容量下对性能设置上限的结论一致（第4.3节）。
3. 消融确认的瓶颈：活跃集是必要的（FC1移除导致两个PPO实现和四个游戏上的性能崩溃至随机水平）且充分的（第4.2节）。
4. 瓶颈的早期承诺先于性能：对三个Pong种子的47个检查点扫描显示，FC1移除从5M步开始为-21，活跃计数在15–30M步时锁定；奖励在35–105M步后才变为正值，且随着三个种子间瓶颈容量收紧，滞后扩大。可训练智能体也表现出早期活跃集承诺，但内容有质的不同——宽集而非窄集——且具有不同的承诺后动态（第5节）。

一个互补的跨机制发现：在Breakout中，冻结和可训练的CNN通过结构不同的瓶颈特征达到竞争性奖励。冻结智能体使用17–25个活跃神经元，FC2输出参与比约为10–14；可训练智能体使用51个，参与比约为3.6。活跃计数和参与比是表征压缩的互补指标（第4.4节）。

参见标题  
图1：冻结随机CNN架构及其产生的跨游戏稀疏性。（A）架构示意图：在冻结条件下，CNN是随机初始化的且从不更新；只有FC层和策略/价值头接收梯度。（B）在四个游戏及其训练随机性机制下——Pong（确定性），Freeway（确定性对齐消融验证种子），Breakout（确定性），Space Invaders（p_sticky=0.25）——冻结CNN智能体（蓝色）激活的FC1神经元数量远少于可训练对照组（灰色），且对于更简单的游戏差距更大。Pong在随机粘性动作训练下的冻结计数更高（5–11），在第4.3节和图3中单独报告。（C）所得两阶段信息瓶颈示意图：3,136个CNN特征馈入1–3个活跃FC1子集（Pong示例），该子集馈入9–46个活跃FC2输出子集，再馈入策略和价值头。

## 2 相关工作

#### 神经网络中的稀疏性。在所有已建立的方法中，稀疏性是显式诱导的。剪枝基于幅度或梯度标准移除参数（LeCun等人，1990；Han等人，2015；Molchanov等人，2017）。彩票假说（Frankle & Carlin，2019）表明，当重置为初始权重时，剪枝后的网络可以匹配密集性能；强彩票假说证明了随机网络包含无需任何权值训练的高性能子网络，但找到它们需要通过 masking 进行显式搜索（Ramanujan等人，2020；Malach等人，2020；Gadhikar等人，2024）。在RL中具体而言，Obando-Ceron等人（2024）通过逐步幅度剪枝以改进的Atari性能实现了90-95%的权重稀疏性；Ma等人（2025）表明即使在训练前随机剪枝也优于密集DRL网络。Davelouis等人（2025）研究了固定权值RL网络中的设计稀疏结构。综合来看，这些结果表明DRL中存在巨大的过参数化，但所有方法都是从“我们能移除多少？”的方向处理稀疏性。我们提出互补的问题：“当特征固定时，梯度下降选择使用多少？”在我们的设置中，当CNN冻结时，稀疏性从标准PPO中自发涌现——无需剪枝、正则化或架构约束。

#### 储层计算与随机特征。我们的冻结CNN架构（固定非线性投影后接可训练读取器）在形式上是一个储层计算系统（Jaeger，2001；Maass等人，2002）。Chang & Futagami（2020）使用CMA-ES将卷积储层计算应用于Atari，但未分析激活稀疏性。随机特征模型的理论基础由Rahimi & Recht（2007）建立；最近，Coil等人（2025）发现冻结随机层作为隐式正则化器；Zhang等人（2025）发现冻结随机特征为视觉RL提供了令人惊讶的竞争性基线。相关工作中，Gaier & Ha（2019）表明权重无关神经网络可以使用随机共享权重解决RL任务；Cuccu等人（2019）通过神经进化仅用6–18个神经元达到竞争性Atari性能。这些工作均未探讨读取器中激活稀疏性如何追踪任务复杂度。

#### 内在维度与表示动态。Li等人（2018）测量了解RL任务所需的最小参数自由度，报告Pong的d_int约为6,000–10,000。我们发现3个活跃神经元对应大约9,400有效参数（3×3,136个输入权重），具有显著一致性。Sokar等人（2023）发现DRL网络中的神经元在训练期间逐渐变为休眠，并明确将任务复杂度与休眠之间的关系标识为未来的开放性工作。我们的发现提供了一个直接答案：在冻结随机特征下，活跃神经元数量追踪任务复杂度，而休眠神经元作为发现最小充分表示的副产品出现。可塑性损失文献（Lyle等人，2023；Dohare等人，2024；Abbas等人，2023）记录了训练期间永久不活跃单元的增加。Moalla等人（2024）识别了表示坍塌与信任区域退化之间的双向反馈循环。我们的工作重新定义了这些现象：在冻结CNN智能体中，低FC层维度是有信息的，反映任务结构而非病态坍塌。

## 3 方法

### 3.1 架构

我们研究Nature-DQN CNN架构（Mnih等人，2015）：三个卷积层（32个滤波器8×8步长4，64个滤波器4×4步长2，64个滤波器3×3步长1）产生3,136维特征向量，后接两个全连接层（FC1：3,136→64，FC2：64→64），使用ReLU激活，以及独立的策略和价值头。在冻结CNN条件下，CNN权值使用Kaiming正态初始化（He等人，2015）固定种子初始化后立即冻结（requires_grad=False）。只有FC层、策略头和价值头是可训练的（72.5%的参数）；CNN作为从像素空间到3,136维特征空间的固定随机投影。在可训练CNN条件（对照组）下，所有层以相同超参数端到端训练。

### 3.2 训练协议

所有智能体使用近端策略优化（Schulman等人，2017）。为了建立鲁棒性，我们采用两个独立的PPO实现：Stable-Baselines3（SB3）（Raffin等人，2021），在Mac和Ubuntu硬件上运行同步PPO；以及Sample Factory（SF）（Petrenko等人，2020），在Ubuntu上运行异步PPO。两者均使用标准Atari预处理（84×84灰度，4帧堆叠），学习率2.5×10^-4线性衰减，裁剪范围0.1，熵系数0.01。硬件规格和完整超