论文页面 - GradCuit：信用分配的梯度流实现稳健且可解释的测试时潜在推理

摘要

基于优化的潜在推理通过在测试时优化实例特定的连续状态，同时保持模型参数冻结，来改进大型语言模型的输出。然而，现有方法通常通过解码后的词元将这些状态连接到推理轨迹上，使得序列级信用分配变得间接，并掩盖了潜在更新如何塑造后续推理。我们引入了 GradCuit（经由电路的梯度），它在选定的 Transformer 层上，将可优化的潜在状态插入到提示的隐藏表示与生成的续写内容之间。因果自注意力为每个续写词元的对数概率提供了一条经过剩余 Transformer 模块、通向每个先前潜在状态的可微路径，从而使得来自整个续写的奖励加权梯度能够直接分配给潜在状态。在五个指令微调基座模型、三个推理基准和两种答案格式上，GradCuit 达到了 64.5% 的平均准确率，比思维链提示高出 6.6 个百分点，比最强竞争方法高出 2.4 个百分点。GradCuit 还展现出更强的鲁棒性：在七种学习率设置下，它始终优于 LatentSeek，同时将准确率的标准差从 1.53 降至 0.82，甚至其随机游走变体也仍能与 LatentSeek 竞争。在可解释性方面，词元级梯度归因显示，潜在影响集中在推理连接词元上，而层分析则将 Transformer 的早期到中期层识别为最有效的优化空间。通过从结果反馈中直接优化内部推理，GradCuit 开辟了稳健且可解释的测试时扩展的新维度，使 LLM 能够调整自身的推理方式，而不仅仅是重新生成、采样或对输出进行重新排序。

查看 arXiv 页面 查看 PDF 项目页面 GitHub3 添加到收藏

在您的 agent 中获取这篇论文：

hf papers read 2608\.02585

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2608.02585，即可从本页关联到该模型。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.02585，即可从本页关联到该数据集。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2608.02585，即可从本页关联到该 Space。

包含此论文的收藏 0

没有收藏包含此论文

将这篇论文添加到一个收藏（https://huggingface.co/new-collection），即可从本页关联到该收藏。