@askalphaxiv: 由Yoshua Bengio指导的一篇精彩论文 "Generative Recursive Reasoning" 测试时计算不仅应…
摘要
论文《Generative Recursive Reasoning》提出了一种方法,通过并行采样多个潜在推理轨迹来扩展测试时计算,使模型能够探索多样化的假设并避免确定性坍缩。该方法在数独、ARC AGI、N皇后和图形着色等任务上提升了性能,还可以从头生成有效的数独棋盘和MNIST数字。
查看缓存全文
缓存时间: 2026/05/21 19:39
一篇由Yoshua Bengio指导的有趣论文
“生成式递归推理”
测试时计算不仅应该通过思考得更深来扩展,还应该通过思考得更广。
这篇论文将递归生成式化。它采样了大量潜在推理轨迹,让模型并行探索多个假设,从而避免沿着一条确定性路径坍缩到单一答案。
它改进了数独、ARC AGI、N皇后和图着色问题,同时还能从头生成有效的数独棋盘和MNIST数字。
相似文章
生成式递归推理
本文介绍了生成式递归推理模型(GRAM),这是一个概率框架,通过支持随机潜在轨迹、多个假设以及通过深度和并行采样实现推理时缩放,扩展了递归推理模型。
递归代理推理
本文将测试时推理方法重新诠释为递归算子——Grow、Prune 和 Branch——并对其进行评估,发现 Branch 通过从预算耗尽的输出中恢复,持续提高准确性,同时建议在比较研究中使用配对评分。
GradCuit: 信用分配的梯度流实现稳健且可解释的测试时潜在推理
本文介绍了GradCuit,一种测试时潜在推理方法,在选定的Transformer层插入可优化的潜在状态。它在五个骨干模型和三个推理基准上实现了64.5%的平均准确率,优于思维链提示,并展现出更好的稳健性和可解释性。
@marfinxx: 这篇Google DeepMind论文简直太棒了 一篇新研究论文证明,将验证器转化为生成式下一个…
一篇Google DeepMind研究论文表明,将验证器转化为生成式下一token预测器能显著提高推理准确性,通过推理时计算缩放实现链式思考验证,并提升在数学问题上的性能。
@rohanpaul_ai: 如果你能支付一次推理成本,然后将模型所学用于未来的任务?新的微软论文…
微软的一篇论文提出了一种方法,用过去代理运行中蒸馏的技能来替代昂贵的测试时推理,在某些基准测试中表现出竞争力,同时减少了输出令牌的使用。