模型能力主导：AIMO 3推理时优化的经验启示

Hugging Face Daily Papers 论文
inference-optimization reasoning model-scaling majority-voting imo-problems

摘要

本论文分析了AIMO 3的推理时优化技术，发现模型能力优于提示工程和多样化采样策略。研究表明高温度采样已经能够最大程度地去相关化误差，为基于提示的改进留下了很少余地，并识别出单个模型pass@20与多数投票共识之间存在6分的选择损失差距。

对多个LLM尝试进行多数投票可以改进数学推理，但相关误差限制了有效样本量。自然的解决方案是为不同的投票者分配不同的推理策略。该方法称为Diverse Prompt Mixer，在AIMO 3竞赛上进行了测试：3个模型、23个以上实验、50个IMO级别问题、一个H100 80GB显卡、5小时限制。每一项提示级别的干预都失败了。高温度采样已经实现了误差的去相关化；较弱的策略减少的准确度比减少的相关性更多。在相等N=8的8分能力差距和所有测试的优化方法中，模型能力占主导地位。最佳多数投票分数（42/50）与pass@20（~45.5）之间的差距是选择损失，而不是提示损失。基于验证器的选择器可以缩小这一差距。提示工程做不到。
查看原文
查看缓存全文

缓存时间: 2026/04/20 08:28

论文页面 - 模型能力占主导地位：AIMO 3的推理时优化经验教训

来源: https://huggingface.co/papers/2603.27844

https://huggingface.co/papers/2603.27844#model-capability-dominates-inference-time-optimization-lessons-from-aimo-3模型能力占主导地位：AIMO 3的推理时优化经验教训

fig3_p_vs_score

多样化提示混合器为多数投票成员分配不同的推理策略以消除错误相关性。在50个IMO级别问题上测试（1×H100，5小时限制，3个模型，23+个实验）。它不起作用。

为什么失败： 高温采样已经将成对错误相关性推至零或以下（19个可计算点的平均值 ρ̂ = −0.348）。没有相关性改进空间了。多样化提示减少的单次尝试准确率比它们减少的相关性更多。

占主导的因素： 在相同的N=8情况下，8点的模型能力差距（gpt-oss-120b在39.3 vs. gpt-oss-20b在31.0）是任何提示优化（±2点）的4倍。将N扩展到超出计算预算会适得其反。

真正的差距在哪里： 该模型的pass@20 ≈ 45.5，但多数投票峰值为42。存在6点的选择损失。基于验证器的选择器可以弥补它。提示工程无法做到。

相似文章

AIMO Interpretability Challenge

arXiv cs.AI

AIMO Interpretability Challenge 是一项旨在利用可解释性方法区分前沿数学语言模型中的稳健推理与虚假推理的竞赛，提供新问题、模型访问权限和计算基础设施。

多层级MoE缓存

Reddit r/LocalLLaMA

讨论MoE模型的多层级缓存策略，通过将频繁激活的专家保留在GPU上来提升推理速度，参考了PowerInfer和llama.cpp分支等现有实现。

能力前沿：基准测试遗漏了82%的模型性能

arXiv cs.AI

本文提出了能力前沿（Capability Frontier），这是一个针对模型的帕累托前沿，用于纠正单模型和单次运行评估中的偏差，表明标准基准测试遗漏了高达82%的模型性能，并且集体LLM能力被严重低估。

模型合并作为微调参数空间中的概率推理

arXiv cs.LG

本文将模型合并视为在专家乘积场景下的概率推断，表明现有方法是其特例，并提出一种重尾柯西专家设计，能更准确地捕捉实际残差行为，在多个任务和架构上相对于现有最优基线取得了显著改进。