power-sampling

Chopthin-共识功率采样（CCPS）是一种用于大语言模型解码、保持多样性的方法，它通过保留不同的推理路径并采用语义多数选择，无需后训练即可提高推理准确性，这在基准测试中得到了验证。

本文提出熵引导幂采样（EGPS），一种无需训练和验证器的采样方法，提高了幂采样在增强基础语言模型推理中的效率。与标准Metropolis-Hastings采样相比，EGPS在MATH500、HumanEval和GPQA等基准测试上达到最佳或并列最佳准确率，同时实现高达12.6倍的加速。