潜在推理综述

“大规模语言模型（LLMs）已展现出令人印象深刻的推理能力，尤其是在通过显式思维链（Chain-of-Thought, CoT）推理（将中间步骤语言化）进行引导时。虽然CoT同时提升了可解释性与准确性，但其对自然语言推理的依赖限制了模型的表达能力带宽。”

“潜在推理通过完全在模型的连续隐状态中进行多步推理来攻克这一瓶颈，从而消除了词元级的监督。为推进潜在推理研究，本综述对这一新兴领域提供了全面概述。”

他们“首先探讨了神经网络层作为推理计算基底的基础作用，强调层级表示如何支撑复杂变换。接着，他们探索了多种潜在推理方法，包括基于激活的循环、隐状态传播以及将显式推理轨迹压缩或内化的微调策略。”最后，他们“讨论了高级范式，例如通过掩码扩散模型实现的无限深度潜在推理，这类方法能够支持全局一致且可逆的推理过程。”

“通过统一这些视角，”他们“旨在厘清潜在推理的概念图景，并绘制LLM认知研究前沿的未来方向。”