power-sampling

PreSTO 提出一种预测性子树预取方法来加速 PowerMH 功率采样器，通过批量预取未来的 MH 提案并保持转移核不变，在七个数据集和五个大语言模型上实现了 1.71×–2.33× 的中位加速。

Chopthin-共识功率采样（CCPS）是一种用于大语言模型解码、保持多样性的方法，它通过保留不同的推理路径并采用语义多数选择，无需后训练即可提高推理准确性，这在基准测试中得到了验证。

本文提出熵引导幂采样（EGPS），一种无需训练和验证器的采样方法，提高了幂采样在增强基础语言模型推理中的效率。与标准Metropolis-Hastings采样相比，EGPS在MATH500、HumanEval和GPQA等基准测试上达到最佳或并列最佳准确率，同时实现高达12.6倍的加速。