论文页面 - 几何潜推理使大语言模型生成更短输出

来源：https://huggingface.co/papers/2606.02248

摘要

几何潜推理将潜推理形式化为预训练令牌嵌入空间中的几何路径逼近问题，从而实现了连续的中间推理状态，在保持准确性的同时缩短了生成长度。

大语言模型通过生成冗长的显式推理令牌链来解决复杂问题。这种方法虽然有效，但也使得推理成本高昂、对长度敏感，并且局限于（离散的）自然语言。而潜推理（https://huggingface.co/papers?q=latent%20reasoning）提供了一种连续的替代方案，但如何为中间潜状态确定有用的结构仍是一个开放挑战。在本文中，我们将潜推理（https://huggingface.co/papers?q=latent%20reasoning）形式化为模型预训练令牌嵌入空间（https://huggingface.co/papers?q=pretrained%20token-embedding%20space）内的几何路径逼近问题（https://huggingface.co/papers?q=geometric%20path-approximation%20problem）。我们引入了几何潜推理（https://huggingface.co/papers?q=Latent%20Reasoning）（GLR），它使用一个轻量级的过渡头（https://huggingface.co/papers?q=transition%20head）来预测嵌入空间中的迭代方向更新。利用文本化的思维链轨迹（https://huggingface.co/papers?q=chain-of-thought%20traces）作为锚点，GLR学习逼近离散推理轨迹（https://huggingface.co/papers?q=discrete%20reasoning%20trajectories），同时允许对精确令牌嵌入进行连续偏离（https://huggingface.co/papers?q=continuous%20deviations）。在使用Qwen3模型（https://huggingface.co/papers?q=Qwen3%20models）对数学推理基准（https://huggingface.co/papers?q=mathematical%20reasoning%20benchmarks）进行的评估中，揭示了一个涌现现象（https://huggingface.co/papers?q=emergent%20phenomenon）：几何潜推理（https://huggingface.co/papers?q=latent%20reasoning）在无需显式长度目标的情况下，诱导出明显更短的生成结果。通过用连续的潜步骤替换早期的显式推理，模型通常能用更少的生成步骤得到正确答案。这些发现表明，连续的轨迹充当了紧凑的中间推理状态，揭示了潜计算预算（https://huggingface.co/papers?q=latent%20computation%20budget）、输出长度（https://huggingface.co/papers?q=output%20length）和准确性（https://huggingface.co/papers?q=accuracy）之间的一种新权衡。

查看arXiv页面（https://arxiv.org/abs/2606.02248）查看PDF（https://arxiv.org/pdf/2606.02248）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.02248）

在你的agent中获取这篇论文：

hf papers read 2606\.02248

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型README.md中引用arxiv.org/abs/2606.02248即可从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集README.md中引用arxiv.org/abs/2606.02248即可从此页面链接。

引用此论文的Space0

没有Space链接到此论文

在Space README.md中引用arxiv.org/abs/2606.02248即可从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集（https://huggingface.co/new-collection）即可从此页面链接。