基于替代似然估计器的可扩展推理时间退火
摘要
SITA（可扩展推理时间退火）引入了一种方法，通过沿温度阶梯使用基于能量的替代似然重新训练基于流的模型，高效采样分子玻尔兹曼分布，避免了昂贵的散度计算。该方法在丙氨酸二肽和三肽基准测试中达到了最先进的性能。
计算化学和生物物理学中长期存在的挑战是高效地采样分子的玻尔兹曼分布。生成建模的进展已被提出，通过消除模拟的计算成本来应对传统采样技术的局限性。一个有前景的方向是沿着温度阶梯迭代微调扩散模型，其中训练数据通过在推理时间退火期间的重要性采样生成。不幸的是，这些方法需要计算分数场上的散度来估计重要性权重，这使得它们对于较大系统而言难以处理。在这里，我们提出了可扩展推理时间退火（SITA），该方法重新训练基于流的模型，以在逐渐降低的温度下生成样本，并使用基于能量的模型来促进快速的替代似然。我们在丙氨酸二肽和丙氨酸三肽上展示了最先进的性能，同时避免了昂贵的散度项。我们的代码可在 https://github.com/countrsignal/sita.git 获取。
相似文章
使用随机梯度马尔可夫链蒙特卡罗的大样本准确不确定性量化
本文提出了针对带动量和不带动量的随机梯度Langevin动力学（SGLD）的新离散时间近似方法，能够准确预测平稳协方差、迭代平均协方差和积分自相关时间。该方法为大样本不确定性量化提供了改进的调参指导，尤其在模型错误指定情况下。
通过序列蒙特卡洛加速LLM推理
本文提出了序列蒙特卡洛推测解码（SMC-SD），一种通过用草稿粒子群的重要性加权重采样替代推测解码中的令牌级拒绝来加速LLM推理的方法，在保持3%精度损失的前提下相比标准推测解码实现2.36倍加速，相比自回归解码实现5.2倍加速。
模型能力主导：AIMO 3推理时优化的经验启示
本论文分析了AIMO 3的推理时优化技术，发现模型能力优于提示工程和多样化采样策略。研究表明高温度采样已经能够最大程度地去相关化误差，为基于提示的改进留下了很少余地，并识别出单个模型pass@20与多数投票共识之间存在6分的选择损失差距。
面向科学发现的评测驱动扩展
SimpleTES 框架将评测驱动的发现循环扩展到 21 个科学问题，在 LASSO 上实现 2× 加速，量子门数量减少 24.5%，并发现新的 Erdos 构造，同时支持轨迹级模型后训练。
基于时空并行解码与置信度外推的高效扩散LLMs
本文介绍了时空并行解码（TSPD）和置信度外推（CE），通过动态判断令牌何时收敛并预测logit趋势，来加速基于扩散的大语言模型的推理，减少不必要的去噪步骤，同时保持输出质量。