NoisyCoconut：通过潜在空间推理实现反事实共识

arXiv cs.LG 论文
inference-time reliability latent-space llm abstention counterfactual-reasoning noisyCoconut

摘要

本文介绍了 NoisyCoconut，这是一种在推理阶段通过向潜在轨迹注入噪声以生成多样化推理路径从而提高大语言模型可靠性的方法。该方法使模型能够在不确定时选择拒答，从而在无需重新训练的情况下显著降低数学推理任务的错误率。

arXiv:2605.08221v1 公告类型：新论文 摘要：本文提出了 NoisyCoconut，这是一种新颖的推理阶段方法，通过操纵内部表示来提升大语言模型（LLM）的可靠性。与需要大量重新训练的微调方法不同，NoisyCoconut 直接在推理过程中对模型表示进行操作，无需重新训练。我们并非训练模型在潜在空间中进行推理，而是向潜在轨迹注入受控噪声以生成多样化的推理路径。这些路径之间的一致性提供了置信度信号，使模型能够在不确定时选择拒答。我们证明，这种方法在多个推理基准测试中实现了有效的覆盖率-准确性权衡，且无需访问训练数据或修改模型参数。该方法为在保持与现有模型兼容性的同时提高 LLM 输出的可靠性提供了一条切实可行的路径。我们的实验表明，噪声扰动路径之间的一致同意将错误率从 40%-70% 降至 15% 以下，使模型能够通过选择性拒答在数学推理任务上实现超过 95% 的准确率。
查看原文
查看缓存全文

缓存时间: 2026/05/12 07:08 

# NoisyCoconut：通过潜在空间推理实现反事实共识
来源：https://arxiv.org/abs/2605.08221
查看 PDF (https://arxiv.org/pdf/2605.08221)

> 摘要：本文介绍了 NoisyCoconut，这是一种新颖的推理时方法，通过操纵内部表示来提升大型语言模型（LLM）的可靠性。与需要大量重新训练的微调方法不同，NoisyCoconut 直接在推理过程中对模型表示进行操作，无需重新训练。我们并非训练模型在潜在空间中进行推理，而是向潜在轨迹注入受控噪声，以生成多样化的推理路径。这些路径之间的一致性提供了置信度信号，使模型在不确定时能够选择拒绝回答。我们证明了这种方法在多个推理基准测试中实现了有效的覆盖率-准确率权衡，且无需访问训练数据或修改模型参数。该方法为在保持与现有模型兼容性的同时提高 LLM 输出的可靠性提供了一条实用路径。我们的实验表明，在噪声扰动路径达成一致同意的情况下，错误率从 40%-70% 降至 15% 以下，使模型通过选择性拒绝回答在数学推理任务上的准确率超过 95%。

## 提交历史

提交者：Michael Jerge [查看邮箱 (https://arxiv.org/show-email/c5dad695/2605.08221)] **[v1]** 2026年5月6日 星期三 13:58:55 UTC (212 KB)

相似文章

CoRA: 面向可靠思维链推理的置信度-理由对齐

arXiv cs.CL

本文介绍了CoRA，一种基于GRPO的强化学习框架，旨在将LLM的置信度与生成的理由对齐，以提高思维链推理的可靠性，在多个基准测试中将不对齐误差降低了高达26.51%。