TEMPO：面向大型推理模型的测试时训练规模化

来源：https://huggingface.co/papers/2604.19295

摘要

TEMPO 是一种测试时训练框架，通过交替策略优化与评论器再校准，在避免多样性坍缩的同时，持续为语言模型带来性能提升。

测试时训练（Test-time training，TTT）在推理阶段利用无标签测试样本实时调整模型参数，使能力持续突破离线训练的上限。然而，现有面向 LRM 的 TTT 方法很快陷入平台期，无法随测试时算力增加而继续受益。缺乏外部校准时，随着策略模型演化，自生成的奖励信号逐渐漂移，导致性能停滞并出现多样性坍缩。我们提出 TEMPO，该 TTT 框架在无标签题目上进行策略优化，并周期性地在带标签数据集上执行评论器再校准。通过期望最大化（EM）算法形式化这一交替过程，我们发现先前方法均可视为省略了关键再校准步骤的不完全版本。重新引入该步骤可收紧证据下界（ELBO），从而实现持续提升。在 Qwen3 与 OLMO3 等不同模型家族及多种推理任务上，TEMPO 将 OLMO3-7B 在 AIME 2024 的准确率从 33.0% 提升至 51.1%，Qwen3-14B 从 42.3% 提升至 65.8%，同时保持高多样性。

查看 arXiv 页面（https://arxiv.org/abs/2604.19295）
查看 PDF（https://arxiv.org/pdf/2604.19295）
项目主页（https://qingyangzhang.github.io/tempo-homepage）
GitHub（https://github.com/QingyangZhang/TEMPO）
添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2604.19295）

在智能体中获取该论文：

hf papers read 2604.19295

未安装最新 CLI？
curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型引用

在模型 README.md 中引用 arxiv.org/abs/2604.19295，即可在此页面显示链接。

引用该论文的数据集 0

暂无数据集引用

在数据集 README.md 中引用 arxiv.org/abs/2604.19295，即可在此页面显示链接。

引用该论文的 Spaces 0

暂无 Space 引用

在 Space README.md 中引用 arxiv.org/abs/2604.19295，即可在此页面显示链接。

收录该论文的合集 1