一个向量能承载多少思考？叠加推理的容量

# 向量能承载多少个思维？叠加推理的容量分析

来源：https://arxiv.org/html/2609.13747

**刘畅**  
中关村学院  
中国北京  
[email protected]  

**傅景文**  
中关村学院  
中国北京  
[email protected]††thanks:通讯作者

###### 摘要  
大语言模型通过在多推理步骤中承载中间计算来解决难题。传统思维链将此计算表示为词元；而近期的连续性和递归方法则将其中一部分转移到固定维度的潜在状态中，使单个思维能叠加多种可能性。这种转变引出了一个核心设计问题：随着推理推进，连续思维应当保留什么？最自然的策略是丢弃早期计算、仅保留当前前沿：存储更多对象似乎会稀释状态并浪费其有限容量。然而我们将证明，这种直觉可能完全相反。当相同的下游计算应用于两种状态时，保留完整历史的累积叠加所需的表征维度，可能比仅存储当前选项的前沿叠加更少。在固定隐层宽度下，这种优势使得潜在推理器能够保留更多可用证据、区分更多可能的下游结果，并延缓压缩状态变得不可靠的临界点。

这种逆转之所以发生，是因为有用的历史成分能相互连贯增强，而不相关的替代选项仍保持随机干扰。该视角也解决了一个实际设计问题：当模型对潜在状态内部累积记忆的未来用途尚未知时，应如何进行加权？在所有可复用的加权叠加族中，集中于少数近期或显著对象会创建表征薄弱的记忆，形成后续注意力的瓶颈。均匀累积加权能避免此缺陷，我们证明其对鲁棒未来推理具有极小极大最优性。我们的研究将叠加从一种被观察到的潜在现象转变为设计原则：平衡的累积记忆能使固定的表征预算支持更可靠、可复用的计算。

## 1 引言
在推理展开过程中，连续思维应当保留什么？随着语言模型推理从显式文本转向连续计算，这一问题日益重要。连续思维链将隐藏状态直接反馈至模型（Hao等人，2024）；循环与递归Transformer则反复更新潜在工作区（Xu与Sato，2024；Fu等人，2026）；而叠加推理表明单个连续思维能编码多种搜索选项并行扩展（Zhu等人，2025b）。这些研究确立了潜在叠加推理的可能性，但留下了一个关键的设计问题：在众多可表征计算的叠加方式中，哪种能最有效地利用有限的隐层维度？

我们研究了三种结构来隔离这一选择。**前沿叠加**存储当前步骤的活跃选项，**累积叠加**存储完整的已访问历史，通用**加权叠加**则在该历史上任意分配表征能量。三者使用相同的图、下游查询、候选集和解码器。因此比较仅改变连续思维保留的内容，而非其需要解决的任务。常规容量直觉支持前沿叠加：在单个归一化向量中存储更多对象会稀释其个体系数，使其更难恢复（Elhage等人，2022）。但我们将证明，对于推理任务，这种直觉可能完全相反。累积叠加在存储严格更多对象的情况下，仍能在更小的隐层维度下保持可用性，因为有用的历史成分能相互连贯增强，而不相关的替代选项仍保持随机干扰。因此叠加容量不仅由支持集大小决定，更取决于存储信息如何支持未来计算。

此逆转对广泛的状态无关类下游查询成立，这些查询可以是连续的、相关的、非对称的且依赖恒等映射。该条件涵盖了累积对象上的有界影响计算，包括全集聚合、加法路由目标、算法执行轨迹和中间步骤评估（Zaheer等人，2017；Lee等人，2019；Kool等人，2019；Veličković等人，2022；Lightman等人，2024）。

**图1**：我们的理论一览。注意力识别活跃的边源并将其目标复制到下一个推理状态。前沿叠加覆盖状态并丢弃先前已访问对象，而累积叠加通过残差路径保留这些对象。保留的历史为后续计算提供连贯证据，使累积叠加能在更小的隐层维度下保持可用。对于通用加权叠加，不均匀系数会造成最弱对象路由瓶颈；均匀累积加权则消除此瓶颈。该比较在Transformer内部也有直接解释：注意力扩展当前计算，而残差写入决定早期对象是被丢弃还是保留。对于通用加权叠加，将权重集中于少数对象会使其他记忆过于薄弱，难以被后续注意力复用。当其未来用途未知时，均匀累积加权解决了由此产生的鲁棒设计问题：

$$\boldsymbol{a}_{\mathrm{cum}} \in \arg\min_{\boldsymbol{a}} \mathfrak{D}(\boldsymbol{a};\mathcal{U}_{C}), \tag{1}$$

其中$\mathfrak{D}$是最坏情况下的端到端临界维度。这为潜在推理提供了一个简单原则：在扩展当前计算的同时，以平衡的表征权重保留其历史。

**主要贡献**：
1. **临界维度理论**：我们推导了精确的有限维评分定律，证明对于广泛的非局部化查询类，累积叠加比前沿叠加需要更少的维度。该结果将相关容量概念从“存储对象数量”转变为“支持未来计算的有效性”，解释了何时保留更多历史对固定宽度推理器有益。
2. **端到端Transformer机制**：我们通过相同的注意力-残差构造实现了两种叠加，并指出最弱的保留系数即为路由瓶颈。这将抽象的维度优势与多步Transformer计算联系起来，并为可复用潜在记忆的故障提供了具体诊断方法。
3. **极小极大设计原则**：在可复用的加权叠加中，均匀累积加权对于固定的非局部化查询类具有严格的近似最优性，且当未来查询未知时恰好达到极小极大最优。这为分配潜在记忆提供了稳健规则，并通过轻量级及GPT-2模型中的宽度缩放和词元级实验加以验证。

## 2 相关工作
#### 显式与连续推理  
思维链将中间计算外部化为词元（Wei等人，2022；Merrill与Sabharwal，2024），而COCONUT则将连续思维反馈至模型（Hao等人，2024）。近期理论表明，连续词元能并行维护和探索多条推理路径（Zhu等人，2025b；Gozeten等人，2025）；后续研究探讨了此类叠加在训练中的涌现方式（Zhu等人，2025a）。我们的问题不同于存在性或可学习性：在前沿、累积和加权状态中，哪种表征为相同的后续计算所需嵌入维度最少？

#### 叠加的容量  
特征叠加分析解释了非正交特征如何共享低维空间，以及干扰如何依赖于特征稀疏性、重要性和多义性（Elhage等人，2022；Foote，2024；Gupta与Kumar，2025；Bereska等人，2025）。这些分析主要关注个体特征的恢复或解释。我们的结果隔离了推理特有的逆转：当后续计算聚合多个存储对象时，额外的成分能贡献连贯信号，使得查询对齐间隔（而非支持集大小）成为有效的容量决定因素。

#### 递归计算与潜在记忆  
通用与循环Transformer在保持潜在工作区的同时重用计算深度（Dehghani等人，2019；Giannou等人，2023；Xu与Sato，2024；Fu等人，2026），而递归记忆和基于缓冲区的模型则通过专用潜在词元传递信息（Bulatov等人，2022；Yang等人，2024；Lin等人，2026）。相关研究探讨了长上下文中无显式中间步骤的多跳推理难度（Li等人，2024；Yao等人，2025），以及隐式推理的极限与表征（Brown-Cohen等人，2026；Hu等人，2024）。我们的维度定律区分了该潜在预算的两个角色：存储原子状态，以及保持紧凑状态与后续必须重用它们的计算对齐。

## 3 设定：三种叠加结构
设$G=(V,E)$为有$n=|V|$个顶点的有向图，根为$r$。$\mathbb{R}^n$中向量的坐标以顶点$v \in V$（也称为对象或节点）索引。在固定深度$c$处，令：
$$F:=\{v:\operatorname{dist}(r,v)=c\},\qquad R:=\{v:\operatorname{dist}(r,v)\leq c\}, \tag{2}$$
其中$|F|=k$，$|R|=m$，$F \subseteq R$，且$1 \leq k \leq m$。记图深度为$D$，在层$c$处，令：
$$R_c:=\{v:\operatorname{dist}(r,v)\leq c\},\qquad F_c:=\{v:\operatorname{dist}(r,v)=c\},\qquad N_c:=R_{c+1}\setminus R_c, \tag{3}$$
其中$r_c:=|N_c|$。记$\mathbf{1}_S$为$S \subseteq V$的0-1指示向量，$e_v:=\mathbf{1}_{\{v\}}$。每个顶点具有独立嵌入$g_v \sim N(0,I_d/d)$。等价地，矩阵$G \in \mathbb{R}^{d \times n}$的列是独立同分布的$N(0,1/d)$。对于$a \in \mathbb{R}^n$，令：
$$X_a:=Ga=\sum_{v \in V} a_v g_v,\qquad q_a:=\frac{X_a}{\|X_a\|}. \tag{4}$$
由于$q_a$在正尺度下不变，我们取$\|a\|_2=1$。记$\chi_d$（或$C_d$）为自由度$d$的卡方随机变量。被比较的状态为：
$$a_F:=\frac{\mathbf{1}_F}{\sqrt{k}},\qquad a_R:=\frac{\mathbf{1}_R}{\sqrt{m}},\qquad a \in \mathcal{A}_S, \tag{5}$$
其中$\mathcal{A}_S:=\{a \in \mathbb{R}_+^n:\operatorname{supp}(a) \subseteq S,\ \|a\|_2=1\}$（$S \subseteq V$），且$q_F:=q_{a_F}$，$q_R:=q_{a_R}$。加权序列为$\boldsymbol{a}=(a_c)_{c=0}^D$，其中$a_c \in \mathcal{A}_{R_c}$，$a_{\min,c}:=\min_{v \in R_c} a_{c,v}$。

固定与$G$无关的单位方向$u_0,u_1,\ldots,u_M \in \mathbb{R}^n$，其中$u_0$是有用的，$u_1,\ldots,u_M$是竞争的；记$X_{u_j}:=Gu_j$。所有状态使用相同的解码器：
$$\widehat{j}(q_a):=\arg\max_{0 \leq j \leq M} \langle q_a, X_{u_j} \rangle, \tag{6}$$
当$\widehat{j}(q_a)=0$时成功。当候选集明确时，我们记$u$为$u_0$。坐标$u_v$是顶点$v$上的查询权重，而非竞争候选；节点读出为$u=e_v$。

正文假设各向同性竞争：$u_1,\ldots,u_M$是标准正交的，且与$\operatorname{span}\{a,u_0\}$正交：
$$u_1,\ldots,u_M \text{ are orthonormal and orthogonal to } \operatorname{span}\{a,u_0\}. \tag{7}$$
当多个支持在$R$上的状态被比较时，使用一个公共候选集：$u_1,\ldots,u_M$在$R$坐标的正交补中标准正交，这要求$M \leq n-m$。

对齐与两种均匀特化为：
$$\begin{aligned}
\mu(a,u) &:=\langle a,u \rangle \in [0,1], \\
\mu_F(u) &:=\langle a_F,u \rangle=\frac{\sum_{v \in F} u_v}{\sqrt{k}}, \\
\mu_R(u) &:=\langle a_R,u \rangle=\frac{\sum_{v \in R} u_v}{\sqrt{m}},
\end{aligned} \tag{8}$$
其中$u$是支持在$R$上的非负单位向量。对于$\delta \in (0,1)$，定义：
$$\begin{aligned}
d_{\star}(a,u;M,\delta) &:=\min\{d:\mathbb{P}(\widehat{j}(q_a)=0) \geq 1-\delta\}, \\
d_{\star,F}(u) &:=d_{\star}(a_F,u;M,\delta), \\
d_{\star,R}(u) &:=d_{\star}(a_R,u;M,\delta),
\end{aligned} \tag{9}$$
在条件（7）下，若$\mu(a,u)=0$且$1-\delta > 1/(M+1)$，则值为$\infty$。查询类是非空紧集$\mathcal{U} \subseteq \mathcal{A}_S$；在固定深度，$S=R$。设：
$$\Gamma(a;\mathcal{U}):=\inf_{u \in \mathcal{U}} \langle a,u \rangle, \tag{10}$$
$$D_{\star}(a;\mathcal{U},M,\delta):=\min\left\{d:\inf_{u \in \mathcal{U}} \mathbb{P}(\widehat{j}(q_a)=0) \geq 1-\delta \right\}. \tag{11}$$
$$d_{1-\delta}:=\min\{d \in \mathcal{D}_{\mathrm{test}}:\widehat{\mathrm{Acc}}(d) \geq 1-\delta\}. \tag{12}$$

（此处根据技术文档长度截断翻译，保持原文数学公式与术语准确性）