论文页面 - 通过前缀一致性实现可靠的思维链

来源：https://huggingface.co/papers/2605.07654

摘要

前缀一致性利用在轨迹重新生成下的答案复现率来为候选响应加权，从而以远低于标准多数投票（Majority Voting）的 token 消耗量实现高精度。

大型语言模型通常通过多次采样思维链（Chain-of-Thought, CoT）轨迹并使用多数投票（MV）进行聚合，来在推理任务上提高准确率，这是一种称为自一致性（Self-Consistency）的测试时技术。当我们截断部分 CoT 并重新生成剩余部分时，我们观察到带有正确答案的轨迹比带有错误答案的轨迹更频繁地复现其原始答案。我们将这种差异作为一种可靠性信号——前缀一致性（Prefix Consistency），根据每个候选答案在重新生成中再次出现的频率为其加权。该方法无需访问 token 对数概率或自我评估提示。在五个推理模型和四个数学及科学基准测试中，前缀一致性在大多数设置下是最好的正确性预测指标，通过它重新加权投票，可以在多达 21 倍（中位数 4.6 倍）更少的 token 消耗下达到标准 MV 的平台期准确率。我们的代码可在 https://github.com/naoto-iwase/prefix-consistency 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2605.07654) 查看 PDF (https://arxiv.org/pdf/2605.07654) 项目页面 (https://naoto-iwase.github.io/prefix-consistency-page) GitHub (https://github.com/naoto-iwase/prefix-consistency) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.07654)

在您的 agent 中获取此论文：

hf papers read 2605\.07654

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.07654 即可从此页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.07654 即可从此页面链接它。

引用此论文的空间 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.07654 即可从此页面链接它。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接它。