标签
该论文将 N 选优采样建模为正确响应与错误响应的极端奖励尾部之间的竞争，利用极值理论刻画了三种渐近机制并推导了有限样本缩放定律，解释了奖励投机导致的性能退化，并提出轻量级尾部张力准则来判断额外采样何时有害。
一篇预印本提出了 FLEET 算法，它通过将外部奖励归因到具体 token，使 Best-of-N 采样具备奖励感知能力：把隐藏状态连同奖励元数据存入向量库，并在后续迭代中使用改造后的 MCTS 重新调整 logits。在 GSM8K 和 LiveCodeBench 上使用 Llama 3.2 3B 的实验表明，该方法以远少于采样基线的迭代次数达到了相当甚至更优的性能。此外，它产出的元数据存储库可复用为其他任务的先验，或用于增强 SFT/RL。
论文提出了TUP，一种基于排名分类的BoN式蒸馏方法，通过截断低排名的完成项并提升高排名的项，以改善对齐效率和性能。
本文识别了最佳N选择TTS评估中的一个混淆因素：ASR验证器的表面质量强烈依赖于用作评估器的ASR族。作者提出了跨族排名集成方法，在多个评估器上实现了更低的词错误率。
Flash-BoN 通过时间步截断、层跳过和激活代理生成廉价的草稿候选，然后使用多阶段验证选择最佳草稿进行完整细化，从而在固定挂钟预算下优于基线，提高文本到图像生成的效率。
本文提出了一种方法，利用单次带标签验证集采样中获得的廉价统计量，预测语言模型的最佳N选一推理扩展增益。一个仅有三个核心特征的紧凑预测器与真实增益的斯皮尔曼相关系数ρ=0.90，使得在昂贵的奖励模型评分之前能够筛选配置。
BetaPRM 是一种过程奖励模型，它使用来自蒙特卡洛延续的 Beta 信念来预测步骤级的成功概率以及该预测的可靠性，从而实现自适应计算分配，在提高准确性的同时将 token 使用量减少高达 33.57%。