论文页面 - A*-Thought-V2：通过LLM几何动力学实现高效潜在推理

来源：https://huggingface.co/papers/2609.07821 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

A*-Thought-V2将思维链推理建模为隐藏状态轨迹，选择性地保留显式推理步骤或将其压缩为连续潜在标记，从而提高准确性和效率。

思维链（https://huggingface.co/papers?q=Chain-of-Thought)（CoT）提升了大语言模型（LLM）的推理能力，但带来了显著的计算和上下文成本。现有方法要么通过硬剪枝丢失中间信息，要么缺乏连续压缩的原则性标准。我们提出了A*-Thought-V2（https://huggingface.co/papers?q=A*-Thought-V2），一个由LLM几何动力学引导的框架，它将CoT建模为隐藏状态轨迹（https://huggingface.co/papers?q=hidden-state%20trajectory），并用显式-隐式交错潜在架构（https://huggingface.co/papers?q=explicit-implicit%20interleaved%20latent%20architecture）替代了硬删除。在将问题、步骤和解答表示投影到3D PCA空间（https://huggingface.co/papers?q=3D%20PCA%20space）后，它衡量每个局部转换与全局问题到解答方向之间的对齐度。对齐的步骤保持为显式文本，而偏离的步骤则被压缩为连续的潜在标记（https://huggingface.co/papers?q=latent%20tokens）。方向角（https://huggingface.co/papers?q=Directional%20angles）同时捕获局部语义和推理动态：小角度表示直接执行和答案形成，而大角度更常涉及检查、修正和分支探索；其时间变化揭示了探索、收敛和完善阶段。为了训练该架构，我们引入了逐步嵌入强制（https://huggingface.co/papers?q=stepwise%20embedding%20forcing），将每个冗余步骤汇集到一个单一的潜在嵌入中，以及标签强制（https://huggingface.co/papers?q=label%20forcing），用软多模态词汇分布（https://huggingface.co/papers?q=soft%20multi-modal%20vocabul ary%20distribution）而非硬独热标签来监督该潜在标记。在Qwen3.5-9B和Qwen3.6-27B上进行的六项领域内和领域外基准测试实验表明，A*-Thought-V2（https://huggingface.co/papers?q=A*-Thought-V2）将平均准确率提高了高达2.6%，同时将响应长度缩减了一半，将每计算单元准确率提高了2.29倍，并将预处理和训练时间分别减少了94.6%和高达80.3%。表示分析表明，潜在状态形成了一个与文本状态截然不同的紧凑区域，而潜在标记位置的更高熵反映了更广泛的软目标，这鼓励了更丰富的步骤级特征学习。

查看arXiv页面（https://arxiv.org/abs/2609.07821）查看PDF（https://arxiv.org/pdf/2609.07821）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2609.07821）

在您的代理中获取本文：

hf papers read 2609.07821

没有最新的CLI？curl \-LsSf https://hf.co/cli/install.sh \| bash

引用本文的模型0

无模型链接本文。

在模型README.md中引用arxiv.org/abs/2609.07821以从本页面链接它。

引用本文的数据集0

无数据集链接本文。

在数据集README.md中引用arxiv.org/abs/2609.07821以从本页面链接它。

引用本文的空间0

无空间链接本文。

在空间README.md中引用arxiv.org/abs/2609.07821以从本页面链接它。

包含本文的收藏集1