NVIDIA Kumo Tabular 在表格预测中树立了新的精度-效率前沿

Hugging Face Blog 模型

摘要

NVIDIA Kumo Tabular 是一个用于表格分类和回归的开源基础模型,它利用上下文学习,在无需训练或调优的情况下,在基准测试中实现顶级性能。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/09/29 21:30

NVIDIA Kumo Tabular 为表格预测任务设定精度-效率新基准

来源:https://huggingface.co/blog/nvidia/kumo-tabular

亮点速览

NVIDIA Kumo Tabular 是 NVIDIA Kumo 结构化模型系列的一部分,这是一款开源的表格数据基础模型,现已在 Hugging Face(https://huggingface.co/nvidia/Kumo-Tabular)上提供。给定一个包含标签行的表格,它只需一次前向传播,无需训练、无需调参、无需特征工程,即可预测新行的标签,支持分类和回归任务。该模型仅在人工合成数据上预训练,提供三种规模(2800万至2.15亿参数),通过我们的开源库(https://github.com/NVIDIA/structured-data-models)运行,并以 OpenMDW-1.1 许可证(https://openmdw.ai/license/1-1/)发布,可供商业使用。它在 TabArena(https://github.com/autogluon/tabarena)、BeyondArena(https://github.com/autogluon/tabarena)、TALENT(https://github.com/LAMDA-Tabular/TALENT)和 ScoringBench(https://github.com/jonaslandsgesell/ScoringBench)这四个基准测试中均排名第一。

  • 模型代码: https://github.com/NVIDIA/structured-data-models
  • 模型权重: https://huggingface.co/nvidia/Kumo-Tabular

转向表格基础模型

表格数据是企业机器学习的基石。客户记录、交易、传感器日志、索赔和订单都以表格形式存在,而预测流失率、违约、需求或价格是工业界最常见的机器学习任务之一。二十年来,这项工作一直由梯度提升树完成,并且效果很好。但围绕这些模型的生命周期几乎没有改变。每一个新问题都意味着需要收集标签、设计特征、搜索超参数、验证并部署一个对表格本身一无所知、每次任务都从头学习的模型。

大型语言模型展示了处理新任务的不同方式。给定提示中的几个示例,预训练模型无需更新任何权重即可解决任务。这就是上下文学习,它同样适用于表格和文本:一个在数百万表格上预训练的模型,可以将一个带标签的表格作为其上下文,并直接预测新行的标签。

今天,我们发布了 NVIDIA Kumo Tabular(GitHub: https://github.com/NVIDIA/structured-data-models,HuggingFace: https://huggingface.co/nvidia/Kumo-Tabular),这是一个用于表格分类和回归的开源基础模型。给定一个带标签行的表格以及需要预测的行,Kumo Tabular 只需一次前向传播即可返回类别概率或数值预测。

Kumo Tabular 工作原理

Kumo Tabular 是一个围绕表格结构构建的 Transformer 模型,利用了 TabICL(https://github.com/soda-inria/tabicl)和 TabPFN(https://github.com/PriorLabs/tabpfn)中引入的列、行和上下文注意力机制。要预测一个标签,它需要完成三件事:(1) 理解每个值在其列中的含义,(2) 理解一行中各列如何交互,(3) 将上下文行的已有标签与待预测的查询行关联起来。Kumo Tabular 通过以下方式实现:

architecture

单元格嵌入: 一组单元格成为一个标记。数值型和分类型值通过傅里叶特征(即学习频率的正弦和余弦)进行处理,每种类型使用独立的权重。缺失值无需插补,会被特殊处理。最后,上下文中的每个标记都会接收一个标签嵌入。

行嵌入: 然后,我们通过多次交替使用两种注意力机制,将每一行转换为一个嵌入。列注意力沿单列向下观察,通过诱导自注意力机制学习一个值在其列分布中的含义,例如,一个 42 是典型还是极端值。因此其成本随行数线性增长。行注意力横跨单行的所有标记进行观察,学习特征如何交互,并使用旋转位置编码来区分不同的列。四个可学习的 [CLS] 标记加入每一行,作为该行的最终读出。经过此行压缩后,最终阶段的成本不再依赖于列数。

上下文学习: 最后的 Transformer 操作于行嵌入之上。上下文行之间相互关注,而查询行仅关注上下文行。因此,每个预测仅依赖于上下文和查询行本身,而不依赖于与哪些其他行一起进行评分。由于上下文从不关注查询,其键和值只需计算一次,并可重复用于后续预测。查询行使用 Test-GQA,这缩减了每个预测所需的缓存大小。一个头将每个查询行转换为分类任务的类别概率和回归任务的999个分位数,由此得出点预测和不确定性估计。

长度感知注意力温度: 随着键数量的增长,softmax 注意力分布会变得分散。在几百行上足够尖锐的注意力,在数万行上可能会消散,而这正是推理时表格远大于典型训练表格的情况。因此,Kumo Tabular 为每个查询按一个与键数量的对数成正比的温度进行缩放,该温度的系数由每个注意力头单独学习。结果是在表格增长(变长或变宽)时,注意力仍能保持尖锐。

Kumo Tabular 的构建过程

Kumo Tabular 完全在人工合成表格上进行预训练。每个训练表格都从下面所示的六步中,从一个结构化因果模型 (SCM) 中采样:

prior

我们首先绘制整个表格的配置,涵盖其大小、任务、机制及缺失情况。然后,一个随机的因果图将隐藏变量连接起来,并通过每个节点随机绘制的函数(例如,线性映射、小型神经网络、树或高斯过程)从根到叶进行评估。一些节点成为数值或分类列,一个成为目标变量,其余保持隐藏,就像现实数据背后未被测量的原因一样。后处理会关联列组、裁剪异常值、注入缺失值,而快速的树集成检查会丢弃任何没有可学习信号的表格。由于生成器是程序化采样器而非训练模型,它可以产生源源不断的表格,每张都有新的图和新的机制。

现实世界的表格是混乱的,所以我们把更多的缺陷构建到了生成器中。值会以多种模式缺失,一些特征被粗糙化使得重复行可能对标签有不同的判断,一些分类列包含很多类别,回归目标可能是重尾分布。一个见过数百万此类表格的模型学会了处理这些缺陷,无需任何清理。

在每张人工表格上,模型将大多数带标签的行作为上下文,并学习预测剩余行的标签,分类使用交叉熵损失,回归使用分位数损失。分类和回归被训练为独立的模型。与 TabICLv2 类似,训练分为三个阶段。第一阶段最长,使用1024行和最多100列的表格,教会模型表格的样貌。第二阶段将上下文大小从400行变化到10240行,第三阶段将其扩展到60000行,列数仍最多100列。总体而言,Kumo Tabular-Small/Medium/Large 分别见到了约3500万/7100万/1.37亿张人工表格。

我们的训练方案和人工数据生成器将很快发布。

性能表现

我们使用默认设置运行了所有三种规模的 Kumo Tabular,并与完整的 TabArena(https://github.com/autogluon/tabarena)排行榜(涵盖调优过的梯度提升树、AutoGluon 和最新的表格基础模型)进行了比较。Kumo Tabular 以1950的ELO排名位居第一,同时在统一的单卡RTX 6000 Pro评估设置下,运行速度比 LimiX-2(https://github.com/limix-ldm-ai/LimiX)快17倍。在所有三种模型规模上,Kumo Tabular 在精度-效率的帕累托前沿上建立了新的最先进水平:

pareto

我们还在 BeyondArena(https://github.com/autogluon/tabarena)、TALENT(https://github.com/LAMDA-Tabular/TALENT)和 ScoringBench(https://github.com/jonaslandsgesell/ScoringBench)上评估了 Kumo Tabular。在 BeyondArena 上,Kumo Tabular 获得了1418的ELO,可改进性得分为7.78%,在排行榜上排名第一。在 TALENT 上,它在分类精度、分类对数损失和回归RMSE方面均取得了最高综合排名,平均排名分别为6.67、3.98和4.22。在针对预测分布的基准测试 ScoringBench 上,Kumo Tabular-Large 和 Medium 分别在平均排名中位列第一和第二。

局限性

Kumo Tabular 仅适用于数值列和分类列,而文本、图像或时间戳可以通过内置的预处理方案转换为特征。单次前向传播最多覆盖10个类别,库通过纠错输出码将其扩展至任意数量的类别。当表格远超出训练范围,或查询行与上下文行来自不同分布时,精度可能会下降。因此,与任何预测模型一样,部署前请在您自己的留出数据上验证精度和校准情况。

演示

Kumo Tabular 通过 NVIDIA 新发布的、基于GPU的 structured-data-models 库(https://github.com/NVIDIA/structured-data-models)运行。该库在首次使用时从 Hub 下载权重,并提供我们在评估中使用的预处理、集成和多类别处理功能。以下代码即可完成从 pandas.DataFrame 到预测的全过程:

import sdm  # structured-data-models

# 将表格数据张量化:
table = sdm.TableTensor.from_pandas(pd.load_csv(...), device="cuda")
na_mask = table["target"].isnan()

model = sdm.models.KumoTabular(device="cuda")
pred = model(
    # 上下文示例(特征/标签):
    x_context=table[~na_mask].drop_columns("target"),
    y_context=table[~na_mask, "target"],
    # 查询示例(特征):
    x_query=table[na_mask].drop_column("target"),
)

开始使用 Kumo Tabular 构建

Kumo Tabular 根据 OpenMDW 许可协议 1.1 版(https://openmdw.ai/license/1-1/)发布。NVIDIA 相信可信赖的AI是共同的责任,我们已制定相关政策和实践,以支持各种AI应用的开发。当按照我们的服务条款下载或使用时,开发者应与其支持的模型团队合作,确保该模型满足相关行业和用例的要求,并解决未预见的产品误用问题。请在此处(https://github.com/NVIDIA/structured-data-models/issues)报告模型质量、风险、安全漏洞或对NVIDIA AI的担忧。

  • 模型代码: https://github.com/NVIDIA/structured-data-models
  • 模型权重: https://huggingface.co/nvidia/Kumo-Tabular

致谢

我们感谢 David Holzmüller(https://dholzmueller.github.io/)为 Kumo Tabular 贡献了重要的想法和消融实验。我们感谢 Vignesh Kothapalli(https://kvignesh1420.github.io/)在实习期间对 Kumo Tabular 提供的帮助。

相似文章

TabPFN-3:技术报告

arXiv cs.LG

TabPFN-3 是一个新的表格数据基础模型,在合成数据上预训练,可扩展到 100 万训练行,同时减少训练和推理时间,在表格预测、时间序列和关系数据上实现了最先进的性能。

TabPFN-3.5:技术报告

arXiv cs.LG

TabPFN-3.5 是一种新型表格基础模型,在多个基准测试中创下最佳性能,并在推理速度和多模态能力上进行了改进。

Tydra:用于表格数据的高效混合模型

arXiv cs.LG

Tydra 是一种混合 Transformer-SSM 架构,用于表格数据,与 TabPFN 相比,它减少了 30% 的推理时间,同时保持了相似的预测性能,并优于 Hydra。