标签
Chopthin-共识功率采样（CCPS）是一种用于大语言模型解码、保持多样性的方法，它通过保留不同的推理路径并采用语义多数选择，无需后训练即可提高推理准确性，这在基准测试中得到了验证。
本文提出了一个基于采样算法（如Sequential Monte Carlo和Replica Exchange）引导和扩展大型语言模型的理论框架，旨在无需外部监督即可提升生成质量。
LatticeBridge 提出了一种扭曲序贯蒙特卡洛解码器用于结构化序列生成，通过将问题视为稀有事件推断来提升约束满足，在CommonGen、E2E NLG和WikiBio上优于贪心搜索和束搜索基线。
提出了Agentic Monte Carlo (AMC)方法，利用序贯蒙特卡洛方法对黑盒大语言模型智能体进行强化学习风格的优化，无需访问模型参数。
SMCEvolve 提出了一种原则性框架，用于 LLM 驱动的程序演化，通过将其重新表述为使用序贯蒙特卡洛从奖励倾斜分布中采样。它提供了收敛保证，并在多个科学发现基准测试中优于现有方法。
本文提出了序列蒙特卡洛推测解码（SMC-SD），一种通过用草稿粒子群的重要性加权重采样替代推测解码中的令牌级拒绝来加速LLM推理的方法，在保持3%精度损失的前提下相比标准推测解码实现2.36倍加速，相比自回归解码实现5.2倍加速。