TabPFN-3：技术报告

# TabPFN-3: 技术报告
来源：https://arxiv.org/abs/2605.13986
作者：Léo Grinsztajn (https://arxiv.org/search/cs?searchtype=author&query=Grinsztajn,+L), Klemens Flöge (https://arxiv.org/search/cs?searchtype=author&query=Fl%C3%B6ge,+K), Oscar Key (https://arxiv.org/search/cs?searchtype=author&query=Key,+O), Felix Birkel (https://arxiv.org/search/cs?searchtype=author&query=Birkel,+F), Philipp Jund (https://arxiv.org/search/cs?searchtype=author&query=Jund,+P), Brendan Roof (https://arxiv.org/search/cs?searchtype=author&query=Roof,+B), Mihir Manium (https://arxiv.org/search/cs?searchtype=author&query=Manium,+M), Shi Bin (https://arxiv.org/search/cs?searchtype=author&query=Bin,+S)（Liam）Hoo, Magnus Bühler (https://arxiv.org/search/cs?searchtype=author&query=B%C3%BChler,+M), Anurag Garg (https://arxiv.org/search/cs?searchtype=author&query=Garg,+A), Dominik Safaric (https://arxiv.org/search/cs?searchtype=author&query=Safaric,+D), Jake Robertson (https://arxiv.org/search/cs?searchtype=author&query=Robertson,+J), Benjamin Jäger (https://arxiv.org/search/cs?searchtype=author&query=J%C3%A4ger,+B), Simone Alessi (https://arxiv.org/search/cs?searchtype=author&query=Alessi,+S), Adrian Hayler (https://arxiv.org/search/cs?searchtype=author&query=Hayler,+A), Vladyslav Moroshan (https://arxiv.org/search/cs?searchtype=author&query=Moroshan,+V), Lennart Purucker (https://arxiv.org/search/cs?searchtype=author&query=Purucker,+L), Philipp Singer (https://arxiv.org/search/cs?searchtype=author&query=Singer,+P), Alan Arazi (https://arxiv.org/search/cs?searchtype=author&query=Arazi,+A), Julien Siems (https://arxiv.org/search/cs?searchtype=author&query=Siems,+J), Jan Hendrik Metzen (https://arxiv.org/search/cs?searchtype=author&query=Metzen,+J+H), Georg Grab (https://arxiv.org/search/cs?searchtype=author&query=Grab,+G), Nick Erickson (https://arxiv.org/search/cs?searchtype=author&query=Erickson,+N), Siyuan Guo (https://arxiv.org/search/cs?searchtype=author&query=Guo,+S), Eliott Kalfon (https://arxiv.org/search/cs?searchtype=author&query=Kalfon,+E), Simon Bing (https://arxiv.org/search/cs?searchtype=author&query=Bing,+S), David Salinas (https://arxiv.org/search/cs?searchtype=author&query=Salinas,+D), Clara Cornu (https://arxiv.org/search/cs?searchtype=author&query=Cornu,+C), Lilly Charlotte Wehrhahn (https://arxiv.org/search/cs?searchtype=author&query=Wehrhahn,+L+C), Diana Kriuchkova (https://arxiv.org/search/cs?searchtype=author&query=Kriuchkova,+D), Kursat Kaya (https://arxiv.org/search/cs?searchtype=author&query=Kaya,+K), Lydia Sidhoum (https://arxiv.org/search/cs?searchtype=author&query=Sidhoum,+L), Marie Salmon (https://arxiv.org/search/cs?searchtype=author&query=Salmon,+M), Jerry Chen (https://arxiv.org/search/cs?searchtype=author&query=Chen,+J), Madelon Hulsebos (https://arxiv.org/search/cs?searchtype=author&query=Hulsebos,+M), Yann LeCun (https://arxiv.org/search/cs?searchtype=author&query=LeCun,+Y), Samuel Müller (https://arxiv.org/search/cs?searchtype=author&query=M%C3%BCller,+S), Bernhard Schölkopf (https://arxiv.org/search/cs?searchtype=author&query=Sch%C3%B6lkopf,+B), Sauraj Gambhir (https://arxiv.org/search/cs?searchtype=author&query=Gambhir,+S), Noah Hollmann (https://arxiv.org/search/cs?searchtype=author&query=Hollmann,+N), Frank Hutter (https://arxiv.org/search/cs?searchtype=author&query=Hutter,+F)

查看 PDF (https://arxiv.org/pdf/2605.13986)

> **摘要：**表格数据支撑着科学和工业领域中大多数高价值的预测问题，而 TabPFN 推动了这类模态的基础模型革命。根据用户的反馈，TabPFN-3 在此基础之上进行构建，将最先进的性能扩展到包含 100 万训练行的数据集，并大幅减少了训练和推理时间。TabPFN-3 仅在我们先验分布的合成数据上进行预训练，极大地推进了表格预测的前沿，并在时间序列、关系型和表格-文本数据上带来了显著的收益。在标准的表格基准 TabArena 上，TabPFN-3 的一次前向传播显著优于所有其他模型（包括经过调优和集成的基线），并在速度/性能前沿上实现了帕累托最优。在更多样化的数据集上，TabPFN-3 在多类数据集上排名第一，并在拥有最多 100 万训练行和 200 个特征的数据集上超越了经过 8 小时调优的梯度提升树基线。TabPFN-3 将测试时计算扩展引入了表格基础模型。我们的 API 产品 TabPFN-3-Plus (思考版) 利用这一点，在 TabArena 上以超过 200 Elo 的优势击败所有非 TabPFN 模型，在最大的数据子集上 Elo 差距升至 420，并且性能优于 AutoGluon 1.5 extreme，同时速度快 10 倍，且无需使用 LLM、真实数据、互联网搜索或除 TabPFN 之外的任何其他模型。TabPFN-3 扩展了我们模型的能力，在关系型数据上实现 SOTA 预测（RelBenchV1 上的新 SOTA 基础模型），在表格-文本数据上实现 SOTA（TabPFN-3-Plus 在 TabSTAR 上达到 SOTA）；并改进了现有集成：一个专门的检查点 TabPFN-TS-3 在时间序列基准 fev-bench 上排名第二，SHAP 值的计算速度提升高达 120 倍。TabPFN-3 在实现这一性能的同时，速度比 TabPFN-2.5 快达 20 倍。此外，缩减的 KV 缓存和行分块技术可在单个 H100 上扩展到 100 万行，且推理速度很快。

## 提交历史

来自：Léo Grinsztajn [查看电子邮件 (https://arxiv.org/show-email/a28b4712/2605.13986)] **[v1]** 星期三, 2026年5月13日 18:01:43 UTC (4,428 KB)