将潜在思维链推理解释为动力系统

# 1 引言 来源：https://arxiv.org/html/2607.09698 ICML 2026 深度生成模型基础研讨会：理解记忆、泛化与推理 将潜在思维链推理解释为动力系统 Sabari Iyyappan Duraipandian\*1 Shreya Sanjay Boyane\*2 Manju Nagesh3 Jerome Francis†\dagger4 Archana Vaidheeswaran4 Kevin Zhu4 ††footnotetext:1 圣何塞州立大学\.2 伍斯特理工学院\.3 乔治梅森大学\.4 Algoverse AI Research\. \*同等贡献；顺序由随机掷硬币决定\.†\dagger项目负责人\.通讯作者：Jerome Francis\.1 代码仓库：https://github.com/SabariIyyappan/Latent-CoT-Reasoning-as-Dynamical-Systems2 项目页面：https://sabariiyyappan.github.io/Latent-CoT/ 已被 FoGen 2026 接收：深度生成模型基础：理解记忆、泛化与推理，ICML 2026 研讨会（非存档）\.###### 摘要 近期的潜在推理方法，如 CODI 和 COCONUT，面临一个根本性的可解释性问题：它们在每一步都在隐藏空间中维护多个叠加的候选轨迹，而显式 CoT 则遵循单一透明的推理轨迹。现有的机理方法展示了压缩、捷径和叠加，但未能解释推理如何在潜在步骤中演变。为填补这一空白，我们将潜在 token 序列建模为表示空间中的轨迹，并应用动力系统分析来刻画推理的演化。通过使用定量指标，如步间变化、方向一致性和 Lyapunov 敏感性，以及定性投影，如 UMAP 和 DMD/PHATE，我们表明潜在 CoT 表现出结构化、非随机的动力学，并具有两种不同的稳定性类别。CODI 表现为稳定吸引子，而 COCONUT 表现为不稳定扩张系统；SIM-CoT 监督使这两种行为更加紧密，但不改变底层动力学。该框架推进了潜在 CoT 推理动力学的可解释性，并提供了改进潜在推理性能的可操作见解。代码1 和项目页面2 已在线上提供。像 CODI 和 COCONUT 这样的潜在思维链范式在性能与计算权衡上始终优于显式 CoT。然而，潜在 CoT 的可解释性仍是一个活跃的研究领域。现有的机理解释方法（logit lens、注意力热图、激活补丁）揭示了潜在 token 与输出之间的关系，以及通过因果性揭示潜在步骤的作用，但并未展示推理如何在潜在步骤中演化。Liang 和 Pan (2026 (https://arxiv.org/html/2607.09698#bib.bib1)); Goyal 等人 (2025 (https://arxiv.org/html/2607.09698#bib.bib2))。先前的工作展示了潜在 CoT 中的压缩、捷径和叠加，但并未定量分析推理演化或突出潜在步骤中的定量行为。Liang 和 Pan (2026 (https://arxiv.org/html/2607.09698#bib.bib1)); Li 等人 (2026 (https://arxiv.org/html/2607.09698#bib.bib3))。动力系统为研究内部表示在推理过程中如何演化提供了原则性的方法。应用于显式 CoT，它们有助于评估模型是否真正逐步推理或仅仅是记忆。Yu 等人 (2025 (https://arxiv.org/html/2607.09698#bib.bib4)); Pham 等人 (2026 (https://arxiv.org/html/2607.09698#bib.bib14))。这些工作分析了模型转变和访问不同状态的频率，但并未彻底测量变化率、方向或稳定性——这些是理解推理动力学至关重要的因素。潜在 CoT 的忠实性——即潜在步骤在多大程度上反映了真实的、逐步的推理，而非不透明的计算——仍然探索不足，且缺乏严格的验证。动力系统提供了填补这一空白的工具。为填补这一空白，我们将潜在 CoT 轨迹建模为动力系统，并分析其稳定性和表示几何。通过使用定量指标和定性投影，我们研究潜在推理是否表现出结构化动力学，以及这些动力学在不同训练范式下如何变化。 ## 2 相关工作 ### 2.1 思维链与潜在推理 思维链（CoT）已成为 LLM 推理的高效范式（Wei 等人，2022 (https://arxiv.org/html/2607.09698#bib.bib15)），但显式 CoT 由于推理轨迹冗长而计算效率低下。潜在 CoT 被引入以解决这一问题，通过跳过冗长的推理理由。最近的潜在 CoT 框架，如 CODI（Shen 等人，2025 (https://arxiv.org/html/2607.09698#bib.bib16)）和 COCONUT（Hao 等人，2024 (https://arxiv.org/html/2607.09698#bib.bib17)），将 CoT 推理保留在潜在空间中，实现了比显式 CoT 更好的 token 高效性能。COCONUT 通过将最后一个隐藏状态作为下一个输入反馈，在潜在空间中进行推理，从而能够对候选推理步骤进行广度优先搜索。它使用一个多阶段课程进行训练，逐步用连续思维替换显式 CoT token。相比之下，CODI 完全避免了课程学习，通过在一个单一的自蒸馏阶段中联合训练一个显式 CoT 教师和一个隐式 CoT 学生，通过答案 token 处的隐藏状态传递推理能力。虽然 COCONUT 和 CODI 用潜在步骤表示推理，但两种方法都遭受潜在不稳定性问题：随着隐式推理 token 数量的增加，训练变得不稳定，导致潜在表示坍缩为失去语义多样性的同质状态。SIM-CoT（Wei 等人，2025 (https://arxiv.org/html/2607.09698#bib.bib18)）通过在训练期间添加辅助解码器，将每个隐式潜在 token 与其对应的显式推理步骤对齐，从而在潜在空间中强制结构化语义，解决了这种不稳定性。机理解释性已成为理解潜在 CoT 性质及其推理行为的重要方向，我们将在下一节讨论。 ### 2.2 潜在 CoT 的机理解释性 Liang 和 Pan (2026 (https://arxiv.org/html/2607.09698#bib.bib1)) 描述了 CODI 可以在多跳推理任务中检索桥接状态，同时在更长推理链任务中依赖压缩和捷径式路径。Goyal 等人 (2025 (https://arxiv.org/html/2607.09698#bib.bib2)) 展示了 CODI 中“草稿板风格”的潜在推理，其中潜在状态在存储和计算步骤之间交替。虽然这些工作确立了潜在推理在功能上是有意义的，但它们并未解释推理动力学。Li 等人 (2026 (https://arxiv.org/html/2607.09698#bib.bib3)) 提供了 CODI 的因果分析，表明潜在推理是一种双流结构，其中潜在状态传播信息，而最终输入可以通过直接复制路径绕过计算。Liang 和 Pan (2026 (https://arxiv.org/html/2607.09698#bib.bib1)) 还表明，潜在 CoT 可以启用通向最终答案的捷径式路径。这些结果表明，潜在推理包含压缩、捷径路由和叠加，并且在更深的推理任务中它们会坍缩，但先前的工作仍然缺乏对它们在潜在 CoT 中“为何”以及“如何”出现的解释。 ### 2.3 推理动力学的动力系统 动力系统理论为刻画状态如何随时间演化提供了数学框架，涵盖了吸引子、轨迹稳定性和发散等概念。这些工具已广泛应用于物理学和神经科学（Holmes，1990 (https://arxiv.org/html/2607.09698#bib.bib24)；John 等人，2022 (https://arxiv.org/html/2607.09698#bib.bib23)）来研究复杂时间过程，并最近被应用于分析语言模型中的推理行为。将推理视为潜在空间中的轨迹已被证明对研究推理动力学有效（Yu 等人，2025 (https://arxiv.org/html/2607.09698#bib.bib4)）。最近的工作表明，显式 CoT 推理可以使用状态感知和基于递归的度量来分析，以了解模型在多频繁地重新访问、转变或稳定在特定推理状态中（Yu 等人，2025 (https://arxiv.org/html/2607.09698#bib.bib4)；Pham 等人，2026 (https://arxiv.org/html/2607.09698#bib.bib14)）。谱分析可用于语义上表示和聚类推理步骤，以评估推理动力学（Yu 等人，2025 (https://arxiv.org/html/2607.09698#bib.bib4)）。类似地，Pham 等人（Pham 等人，2026 (https://arxiv.org/html/2607.09698#bib.bib14)）将基于递归的分析应用于推理轨迹，并表明确定率、层状率和停滞等度量揭示了推理过程和状态访问频率。这些结果促使将推理视为一个动力系统，而非一系列独立步骤。然而，这些方法主要用于显式 CoT，这使得将潜在 CoT 推理作为动力系统的研究仍探索不足。特别是，它们没有测量潜在隐藏状态在表示空间中如何以步长、方向一致性和稳定性演化，也没有解释潜在 CoT 推理范式中压缩、捷径和叠加等现象出现的原因。我们的工作通过将潜在 CoT 视为潜在空间中的轨迹，并使用动力系统研究其推理演化来填补这一空白。 ## 3 方法论 我们提出了一个框架（图1 (https://arxiv.org/html/2607.09698#S3.F1)）来将潜在思维链（CoT）推理分析为动力系统。该方法从推理模型中提取中间潜在表示，在表示空间中构建轨迹，并应用动力系统分析来刻画推理行为。 参照图注 图 1：潜在 CoT 的动力系统分析。\(1\) GSM8K 数据集。\(2\) 四种模型配置——CODI（师生自蒸馏）和 COCONUT（隐藏状态反馈循环），包括 Vanilla 和 SIM-CoT 设置；辅助解码器强制结构化语义。\(3\) T = 6 个潜在隐藏状态形成表示空间中的轨迹。\(4\) 定量指标和定性投影。\(5\) 代表性潜在空间和动力学可视化。 ### 3.1 问题形式化 给定输入 \(x\)，潜在 CoT 模型在推理步骤中产生一个隐藏表示序列： \(z_1, z_2, \ldots, z_T, \quad z_t \in \mathbb{R}^d\)，其中每个 \(z_t\) 表示模型在步骤 \(t\) 的内部状态，\(d\) 是模型的隐藏维度。该序列被视为表示空间中的一条轨迹。 ### 3.2 降维 轨迹张量 \(Z \in \mathbb{R}^{N \times T \times d}\) 位于高维空间中，使得直接可视化变得困难。应用五种互补的方法将潜在状态投影到低维空间进行分析。对于 t-SNE、UMAP 和 PHATE，张量首先展平为 \([N \cdot T, d]\)，以便所有潜在状态都被降维，然后重塑为 \([N, T, k]\) 以保留每个轨迹的时间顺序。t-SNE（van der Maaten 和 Hinton，2008 (https://arxiv.org/html/2607.09698#bib.bib19)）通过成对相似性建模保留局部邻域结构，使其对附近推理状态之间的细粒度聚类敏感。UMAP（McInnes 等人，2018 (https://arxiv.org/html/2607.09698#bib.bib20)）近似底层数据以平衡局部和全局结构，产生适合连续轨迹的稳定嵌入。降维仅用于可视化（第4.3.1节 (https://arxiv.org/html/2607.09698#S4.SS3.SSS1)）。所有定量指标直接计算于原始表示 \(z_t \in \mathbb{R}^d\) 上。 ### 3.3 动力系统概念 DMD（Tu 等人，2013 (https://arxiv.org/html/2607.09698#bib.bib21)）将潜在序列视为离散时间动力系统，并通过快照对 \((X_1, X_2) = (z_{0:T-2}, z_{1:T-1})\) 的奇异值分解（SVD）识别空间模式和特征值。该分解在所有 \(N\) 个轨迹上同时进行批量操作。然后，每个轨迹被投影到前两个 DMD 模式上进行可视化。所得特征值作为定量分析中的稳定性度量（第4.3.2节 (https://arxiv.org/html/2607.09698#S4.SS3.SSS2)）。PHATE（Moon 等人，2019 (https://arxiv.org/html/2607.09698#bib.bib22)）使用多尺度扩散过程来捕获高维数据中的转换。它使用基于核方法构建的亲和图上的扩散算子来计算表示点之间距离的势能，这代表了底层流形的几何结构。这种低维嵌入同时捕获局部结构和全局动力学，也是表示顺序潜在路径的理想选择。 ## 4 实验配置 ### 4.1 数据集 GSM8K 实验在 GSM8K 基准测试（Cobbe 等人，2021 (https://arxiv.org/html/2607.09698#bib.bib6)）上进行，该基准是一组需要多步算术推理的小学数学应用题。使用整个 GSM8K 数据集（训练和测试切分合并，共 8,792 个样本），跨越七个数学概念类别：几何（210）、比率与速度（675）、百分比与比例（1,266）、货币与定价（2,741）、分数与小数（1,045）、乘法与除法（224）以及算术与多步（2,631）。问题通过优先级排序的关键词匹配分配到类别，更具体的类别在更宽泛的类别之前检查，以防止错误标记。每个类别抽取 500 个分层样本。可用示例较少的类别贡献所有剩余样本。真实答案从 GSM8K 注释中的 "####" 分隔符解析。 ### 4.2 模型 CODI 和 COCONUT 都基于 GPT-2-small 骨干（1.24 亿参数，12 层，12 头，隐藏大小 768，词汇表扩展到 50,260 并带有三个潜在特殊标记 <|start-latent|>、<|latent|> 和 <|end-latent|>），在 GSM8K 上训练（Hao 等人，2024 (https://arxiv.org/html/2607.09698#bib.bib17); Shen 等人，2025 (https://arxiv.org/html/2607.09698#bib.bib16)）。Vanilla 检查点取自 ModalityDance/latent-tts-coconut111https://huggingface.co/ModalityDance/latent-tts-coconut 和 ModalityDance/latent-tts-codi222https://huggingface.co/ModalityDance/latent-tts-codi；CODI 在推理时额外加载一个自蒸馏投影模块（prj.pt），该模块将每个潜在隐藏状态映射回输入嵌入空间。两种方法的 SIM-CoT 变体取自 internlm/SIM_COT-GPT2-Coconut333https://huggingface.co/internlm/SIM_COT-GPT2-Coconut 和 internlm/SIM_COT-GPT2-CODI444https://huggingface.co/internlm/SIM_COT-GPT2-CODI（Wei 等人，2025 (https://arxiv.org/html/2607.09698#bib.bib18)）。每个模型为每个输入生成固定序列的 \(T=6\) 个潜在推理步骤。文本生成使用贪婪解码，最大输出 token 数为 512。所有实验使用固定的随机种子 42。 ### 4.3 潜在 CoT 轨迹分析 分析在两个层面上进行：几何结构的定性检查和动力学特性的定量刻画。 #### 4.3.1 定性分析 来自第3.2节 (https://arxiv.org/html/2607.09698#S3.SS2) 的降维表示在 \(\mathbb{R}^2\) 和 \(\mathbb{R}^3\) 中可视化为一系列点，并保留时间顺序。T