论文页面 - 潜在递归LLM系统的原理性思考

来源：https://huggingface.co/papers/2609.36159

摘要

大型语言模型可以在连续空间中进行推理，而无需解码成文本——通过递归自身隐藏状态或在智能体间传递这些状态来实现。然而训练过程仅监督最终解码答案的交叉熵（CE），并不约束思考过程本身。理论与实证分析确立并证实了仅使用CE训练的四种缺陷，这些缺陷会导致正确答案概率降低，例如不同问题间思考过程坍缩、保留无关信息等。我们提出REST（表征监督思考）训练目标，它将有效思考表征的四种属性（因果性、最小性、可分性、稳定性）转化为可微损失函数，并加入到CE损失中。我们将REST应用于潜在的单智能体和多智能体系统，无需架构修改或在推理时增加参数。在跨越数学、科学、医学和代码生成的7个基准测试中，在相同训练数据、计算量和潜在空间预算下，REST在不同智能体设置和模型规模上，比仅使用CE训练准确率最高提升7.5个百分点，并且最终答案的收敛速度提高30%。此外，REST生成的思考编码了更多获得正确答案所需的信息，解码这些思考能更好地恢复智能体预期输出，使潜在通信更易解释。项目网站：https://fard-lab.github.io/REST

查看arXiv页面 (https://arxiv.org/abs/2609.36159) 查看PDF (https://arxiv.org/pdf/2609.36159) 项目页面 (https://fard-lab.github.io/REST/) GitHub0 (https://github.com/FARD-Lab/REST) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.36159)

在您的智能体中获取此论文：

hf papers read 2609\.36155

没有最新CLI？请运行：curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

暂无模型链接此论文

在模型README.md中引用arxiv.org/abs/2609.36159，即可从本页建立链接。

引用本文的数据集0

暂无数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2609.36159，即可从本页建立链接。

引用本文的Space0

暂无Space链接此论文

在Space的README.md中引用arxiv.org/abs/2609.36159，即可从本页建立链接。

包含本文的合集0

暂无合集包含本文

将此论文添加到合集 (https://huggingface.co/new-collection) 以从本页建立链接。