标签
本文系统研究了基于大语言模型的奥林匹克竞赛级数学证明验证,介绍了一个经人工整理的 USAMO 2025 数据集(Trojan-Bench)、一套对抗性证明生成流程(TROJAN),以及一种基于多臂老虎机的评分框架 MABGrader。在对 20 个模型的评估中,MABGrader 的二次加权 Kappa 指标比 ProofGrader 高出 26.4%。
该论文提出将战略选择建模为叠加在基础博弈之上的元博弈,评估了5种博弈和10个大模型,发现多臂老虎机方法比基于嵌入的选择器更可靠,但仍未超过固定模型基线,揭示了当前方法应对动态对手的不足。
本文提出一种在多臂赌博机框架内使用对抗反馈的成本感知算法,用于识别最佳大型语言模型,并展示最优成本和相对于现有方法的改进。
本文介绍了Odds-Ratio Thompson Sampling(OR-TS),这是一种批量多臂老虎机方法,通过基于对比的更新处理波动的基准水平,在模拟和真实实验中均显示出相比绝对速率记忆法更低的遗憾值。
本文提出一种成本感知框架,使用多臂老虎机控制器自适应选择LLM作文评分的提示策略,在保持准确性的同时将LLM调用减少78.4%。
本文将多模型人类评估形式化为多臂老虎机设置中的最佳臂识别问题,自适应地分配标注努力以聚焦于有竞争力的模型,并提高排名区分度。
MiMo-V2.5-Pro-UltraSpeed 是一款快速的多模态模型,可生成基于多臂老虎机的强化学习示意视频。