标签
本文表明，对于小型指令微调LLM，在GPQA Diamond基准的大多数硬科学问题上，基于多数投票的自洽性（self-consistency）会适得其反，而诸如多数一致性或令牌熵等无验证器门控无法防止这一问题。预注册的验证性实验量化了准确率下降，并表明置信度并不反映正确性。
HALO 提出了一种针对冻结语言模型的混合自适应潜在精炼方法，该方法选择性地对一部分 token 应用第二阶段精炼，在计算量更少的情况下实现了比固定精炼步骤更好的性能。
本文识别了推理模型测试时缩放中的“模态上限”和“相关上限”，表明在数十个样本之后，额外采样不会提高选择准确性，甚至可能有害，突显了生成正确回答与识别正确回答之间的可识别性差距。
ACTS（代理式思维链引导）将LLM推理控制形式化为马尔可夫决策过程，其中控制器代理在推理过程中使用推理策略和引导短语自适应地引导冻结的推理器。该方法在显著节省token的同时实现了与完全思考模型相当的准确率，支持可控的准确率-效率权衡。
本研究介绍了一种技术，通过使用阻尼Runge-Kutta子步骤，在推理时循环冻结的、现成的Transformer检查点，将Transformer层视为残差ODE中的欧拉步骤。这无需微调、架构更改或新权重即可增加额外的潜在计算，在MMLU-Pro、GPQA和ARC等知识任务上显示出收益。
OptiLLM是一个开源代理，通过在推理时增加额外计算，将任意LLM的准确率提升2-10倍，使用了多智能体交叉验证和蒙特卡洛树搜索等技术。
OpenAI 提出证据表明，像 o1 这样的推理模型在获得更多推理时计算来进行更深入思考时，对对抗攻击的抵抗力会增强。这项研究表明，增加计算量可以降低多种任务类型（包括数学、事实性和对抗性图像）的攻击成功率，尽管仍存在一些显著的例外。