压缩递归推理模型用于边缘设备时，什么得以保留？

# 压缩递归推理器到边缘时，什么能幸存？

来源：https://arxiv.org/html/2606.26488
Pearse Jim¹，Steven Kolawole²,¹¹¹footnotemark:¹，Opegbemi M. Busoye¹，Glory Bagai¹，Virginia Smith²

¹ML Collective，²卡内基梅隆大学

###### 摘要

递归推理模型仅需几百万个参数，通过反复更新潜在状态即可解决复杂的结构化任务。将这些模型部署在边缘硬件上需要大幅压缩，但与传统的序列模型不同，量化误差会在递归推理周期之间累积，而非在输出 token 之间。因此，关于压缩的常规直觉不再适用。在这项工作中，我们探讨了当递归推理器被压缩时，什么能幸存。在一次全精度扫描、三个任务和两种递归架构中，我们发现在激进压缩下*局部*预测得以保留，但*全局*推理被破坏：在朴素 INT4、剪枝、知识蒸馏和线性注意力下，单元准确率保持不变，而谜题完全匹配准确率骤降至零。token 级目标，包括量化感知训练，无法修复这一问题。这种崩溃是架构性的——它影响了 MLP 混合递归，但在同一任务上不影响注意力——并且我们通过无需重新训练的逐通道校准 INT4 逆转了它。我们还引入了*携带-轨迹保真度*，即与全精度推理路径的余弦相似度，作为一种无需标签的信号，能在任务评估之前预测这种损害及其恢复。综合结果形成一个部署方案：闪流嵌入消除了 99.4 MB 的瓶颈，一个周期的 INT8 在 6 倍更少的 FLOPs 下匹配全深度准确率（8 MB SoC），校准 INT4 则适用于 4 MB 微控制器。

---

# 压缩递归推理器到边缘时，什么能幸存？

Pearse Jim¹††感谢：同等贡献。，Steven Kolawole²,¹¹¹footnotemark:¹，Opegbemi M. Busoye¹，Glory Bagai¹，Virginia Smith²
¹ML Collective，²卡内基梅隆大学

![参见图注](图1：各配置的内存占用。FP32 嵌入表（99.4 MB）占约 126 MB 基线的 79%。闪存加载将活跃嵌入减少到 2 KB，从而隔离了骨干网络压缩。INT8 + 闪存适合 8 MB SoC 目标；校准 INT4 + 闪存适合 4 MB MCU 目标。)

## 1 引言

Tiny Recursive Model (TRM) 使用 683 万个参数在 ARC-2024 上实现了 36.00% 的谜题精确匹配 (Jolicoeur-Martineau, 2025 (https://arxiv.org/html/2606.26488#bib.bib24))——在一个旨在抵抗模式匹配的基准测试中 (Chollet, 2019 (https://arxiv.org/html/2606.26488#bib.bib25))，与更大的自回归系统具有竞争力。它通过迭代一个跨递归周期的潜在携带状态来实现这一点，这一机制与 Universal Transformers (Dehghani et al., 2019 (https://arxiv.org/html/2606.26488#bib.bib9)) 和深度递归语言模型 (Geiping et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib31); Wang et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib8); Hao et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib10); Kohli et al., 2026 (https://arxiv.org/html/2606.26488#bib.bib36)) 共享。然而，TRM 重约 126 MB（15 倍于移动 SoC SRAM）。在资源受限的边缘硬件上部署需要压缩。当这样一个模型被挤压时，什么能幸存，什么会损坏？

虽然单次变换器量化已被充分研究（噪声在输出 Token 上累积，且 INT8 部署是标准的）(Nagel et al., 2021 (https://arxiv.org/html/2606.26488#bib.bib16); Dettmers et al., 2022 (https://arxiv.org/html/2606.26488#bib.bib15); Han et al., 2016 (https://arxiv.org/html/2606.26488#bib.bib26))，但递归模型引入了一种不同的失效模式：量化噪声在每个携带状态更新时，跨 H 个递归周期复合。这种复合是否会损害推理尚未被研究。虽然量化会损害单次推理链 (Li et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib19))，且低于 4 位时涌现能力会崩溃 (Liu et al., 2024 (https://arxiv.org/html/2606.26488#bib.bib20))，但在这些系统中，深度和精度是独立的。在递归模型中，它们并非独立：最优工作点共同依赖于位宽*和*深度。

我们首次针对硬 SRAM 约束下的递归推理模型进行了系统性压缩研究 (Lin et al., 2020 (https://arxiv.org/html/2606.26488#bib.bib27); Abushahla et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib17))。我们扫描了精度（FP32, FP16, INT8, INT4）和深度，涉及三个任务（ARC-2024, Maze-Hard, Sudoku-Extreme）和两种架构（TRM 和 HRM）。如图 1 (https://arxiv.org/html/2606.26488#S0.F1) 所示，主要内存瓶颈是 99.4 MB 的谜题嵌入表，我们通过 2 KB 闪存加载解决了它，从而隔离了骨干网络压缩。我们的主要贡献是：

1.  我们建立了一个**深度-精度交叉点**：在单个递归周期下，INT8 以 6 倍更少的 FLOPs 匹配了全深度 FP32 的准确率，这是单次量化中不存在的交互（§4.2 (https://arxiv.org/html/2606.26488#S4.SS2)）。
2.  我们识别出一种**组合性崩溃**：在朴素 INT4、剪枝、蒸馏和 QAT 下，局部 Token 准确率幸存，而全局谜题准确率降至零；注意力和 MLP 混合机制的消融实验表明，这是架构问题，而非任务固有属性（§4.4 (https://arxiv.org/html/2606.26488#S4.SS4)）。
3.  我们引入了**携带-轨迹保真度**，一种无需标签的检测器，可评估这种损害并通过模型自身的隐藏状态预测其恢复，无需任务标签（§4.3 (https://arxiv.org/html/2606.26488#S4.SS3)）。
4.  我们推导并基准测试了一个**部署方案**：逐通道校准的 INT4 适用于 4 MB MCU，而 INT8 配合闪流传入的嵌入适用于 8 MB SoC，并在三个 Snapdragon 平台上通过设备端延迟进行了验证（§4.5 (https://arxiv.org/html/2606.26488#S4.SS5), §4.7 (https://arxiv.org/html/2606.26488#S4.SS7)）。

## 2 相关工作

#### 递归模型中的过度思考已被命名但无法检测。

循环和权重绑定架构是通往算法推理的参数高效路径 (Dehghani et al., 2019 (https://arxiv.org/html/2606.26488#bib.bib9))，最近的深度递归语言模型显示迭代潜在细化具有良好的扩展性 (Geiping et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib31); Wang et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib8); Hao et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib10); Kohli et al., 2026 (https://arxiv.org/html/2606.26488#bib.bib36))。Bansal 等人 (2022 (https://arxiv.org/html/2606.26488#bib.bib11)) 指出了它们的核心失败——过度思考，即过多迭代会破坏实例——但只能通过完整任务评估来检测；Du 等人 (2026 (https://arxiv.org/html/2606.26488#bib.bib21)) 和 Lu 等人 (2025 (https://arxiv.org/html/2606.26488#bib.bib23)) 发现潜在轨迹中存在正确性信号，但没有一个能在推理过程中*无需标签*而给出可用信号。我们的携带-轨迹保真度基于 Jiang 等人 (2025 (https://arxiv.org/html/2606.26488#bib.bib22)) 将隐藏状态余弦相似度与表示饱和之间的联系，填补了这一空白：它能在无需任务评估的情况下预测量化下的崩溃。

#### 量化即正则化具有未表征的深度维度。

量化噪声可以充当正则化器——推动模型朝向更平坦的最小值，存在一个模型特定的最优水平 (Askari Hemmat et al., 2024 (https://arxiv.org/html/2606.26488#bib.bib12), 2022 (https://arxiv.org/html/2606.26488#bib.bib29))，在分布偏移和数据有限时具有鲁棒性 (Javed et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib13); Tallec et al., 2023 (https://arxiv.org/html/2606.26488#bib.bib14))，有时甚至使 INT8 优于 FP32 (Zhang et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib30))——这解释了单次模型中 INT8 的等价性。但没有任何研究预测递归行为，其中相同的噪声在 H 个携带状态更新上被施加，且浅层有益的正则化在深层会变成破坏性的复合。我们直接表征了这种深度-精度交互作用。

#### 压缩推理早期失效；QAT 恢复针对了错误的目标。

在推理链上，PTQ 会引发早期失败并级联 (Li et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib19))，精度下限在 4 位附近 (Liu et al., 2024 (https://arxiv.org/html/2606.26488#bib.bib20))，而 W8A8 是小模型的无损阈值 (Liu et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib33))；这与我们对 INT8 的发现一致，但这是针对单次解码的。用于推理的标准 QAT 使用蒸馏和任务级目标 (Lv et al., 2026 (https://arxiv.org/html/2606.26488#bib.bib35))；我们表明交叉熵 QAT 的失败并非由于校准不良，而是因为目标不对齐，恢复了单元格级准确率但未恢复谜题级准确率 (Nagel et al., 2021 (https://arxiv.org/html/2606.26488#bib.bib16))。

#### 边缘 NLP 部署激发了这些问题但未能解决。

基础压缩 (Han et al., 2016 (https://arxiv.org/html/2606.26488#bib.bib26))，剪枝比量化更严重地退化小型语言模型的发现 (Zhou et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib34))（与我们的剪枝结果一致），INT8 作为部署原生格式 (Dettmers et al., 2022 (https://arxiv.org/html/2606.26488#bib.bib15); Kim et al., 2021 (https://arxiv.org/html/2606.26488#bib.bib28))，通过硬件协同设计实现亚兆字节 MCU 推理 (Lin et al., 2020 (https://arxiv.org/html/2606.26488#bib.bib27))，我们 4-8 MB 约束下的 MCU 量化综述 (Abushahla et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib17))，以及设备端 NLP 流水线 (Bohdal et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib32))：但均未研究递归推理模型或深度-精度相互作用。没有先前工作压缩过递归推理模型；最接近的工作 (Li et al., 2025 (https://arxiv.org/html/2606.26488#bib.bib19)) 针对单次解码，缺乏我们研究的递归携带状态结构。

## 3 背景与实验设置

### 3.1 Tiny Recursive Model (TRM)

TRM (Jolicoeur-Martineau, 2025 (https://arxiv.org/html/2606.26488#bib.bib24)) 是一个权重绑定的递归变换器，通过迭代潜在细化而非自回归生成来解决结构化推理任务。令 V 为有限词汇表，X ∈ V^(T_x) 为输入序列。TRM 维护一个潜在携带状态，在两个嵌套循环中更新。

给定初始答案嵌入 Y_0 ∈ R^(T_y × d)，模型维护一个携带状态 Z_h ∈ R^(T_z × d) 跨外循环 h ∈ {1, ..., H}。在每个外循环中，内循环执行 L 个细化步骤。共享的两层变换器块 f_θ 更新状态：

Z_h^(l) = f_θ([X; Y_{h-1}; Z_h^(l-1)])   (1)

其中 [·; ·] 表示序列拼接。经过 L 个内部步骤后，外循环通过以下方式推进：

Y_h, Z_{h+1}^(0) = g_φ(Z_h^(L))   (2)

训练期间的单步梯度近似使得内存相对于递归深度为 O(1)。总细化步骤数为 H × n_sup，其中 n_sup 是外循环监督步数。在默认的 ARC-2024 配置（H=3, n_sup=16）下，TRM 执行 48 个细化步骤，对应于每个谜题在 900 token 序列上约 3,000 GFLOPs（O(n²) 注意力）。

我们研究两种架构变体：**TRM-Attention**，它对完整 token 序列使用多头自注意力；以及 **TRM-MLP-Mixing**，它用标记混合 MLP 层替代注意力。这些变体在细化步骤之间编码关系结构的方式不同，这对压缩敏感性有影响（§4.4 (https://arxiv.org/html/2606.26488#S4.SS4)）。

### 3.2 任务和数据集

#### ARC-2024。

抽象视觉推理，要求检测网格输入间的变换规则 (Chollet, 2019 (https://arxiv.org/html/2606.26488#bib.bib25))。TRM 使用 TRM-Attention，带有一个 50,911 条目的谜题嵌入表（FP32 下 99.4 MB），提供特定谜题的上下文、测试时增强（每个谜题 1,000 次增强）、谜题标识符适配和多遍多数投票。参数：683 万。

#### Maze-Hard。

路径查找，要求对拓扑图进行精确的端到端遍历。使用不带嵌入表或 TTA 的 TRM-Attention。参数：682 万。

#### Sudoku-Extreme。

对 9×9 网格进行约束满足（硬行、列和区块排除）。使用不带嵌入表的 TRM-MLP-Mixing。参数：503 万。

我们全程报告两个指标：**单元格准确率**是正确预测的网格单元格比例。**谜题精确匹配**是零错误解决的谜题比例。这两个指标可能大幅偏离：一个模型可能预测出几乎正确的 token（高单元格准确率），同时满足零全局约束（零谜题精确匹配），正如在几种压缩干预下所观察到的（§4.6 (https://arxiv.org/html/2606.26488#S4.SS6)）。

### 3.3 部署目标

压缩目标是在硬 SRAM 约束下实现设备端推理，无需云依赖。我们针对两类硬件：**移动 SoC（例如 Cortex-A55）**，具有 8 MB SRAM；以及 **4 MB MCU（例如 Cortex-M55）**作为突破目标。FP32 基线（约 126 MB 总计：26.7 MB 骨干 + 99.4 MB 嵌入）远超这两个目标一个数量级。§4.7 (https://arxiv.org/html/2606.26488#S4.SS7) 中的设备端延迟、内存和模型大小直接在三个 Snapdragon 边缘平台上通过 Qualcomm AI Hub 测量（附录 G (https://arxiv.org/html/2606.26488#A7)）。

### 3.4 压缩方法

#### 训练后量化 (PTQ)。

我们直接将 PTQ 应用于预训练的 FP32 检查点，无需重新训练。**FP16** 通过标准半精度类型转换将内存减半。**INT8** 使用通过 `bitsandbytes` 实现的逐通道尺度校准 (Dettmers et al., 2022 (https://arxiv.org/html/2606.26488#bib.bib15))——这是具有整数加速单元的硬件上的标准格式。**朴素 INT4** 应用逐张量 PTQ 而不进行校准。**校准 INT4** 应用逐通道非对称 PTQ（每个输出通道的 min/max 范围），同样无需微调；它恢复了朴素 INT4 破坏的大部分准确率（§4.5 (https://arxiv.org/html/2606.26488#S4.SS5)）。

结构化剪枝和知识蒸馏也进行了评估。两者在所有任务上都破坏了谜题级准确率，同时部分保留了单元格准确率（§4.6 (https://arxiv.org/html/2606.26488#S4.SS6)），这与模型的紧凑性（5-7M 参数）一致：在此规模下，参数冗余不足以吸收剪枝，且单次学生无法捕获递归推理。

#### 嵌入压缩。

对于 ARC-2024，我们分别评估了 99.4 MB 谜题嵌入表的三种策略：完整表的 INT8 量化、SVD 秩-16 分解，以及单谜题闪存加载（推理时仅加载当前谜题的 2 KB 行）。

### 3.5 周期缩减

H（外循环）和 n_sup（外循环监督步数）共同决定了总的递归深度：H=3, n_sup=16 意味着在 ARC-2024 上执行 48 个顺序细化步骤。我们扫描 (H, n_sup) ∈ {(1, 1–16), (3, 1–16)}。