Xiaomi-TabLDM: 表格基础模型技术报告

# 1 在TabArena上的回归Elo表现（越高越好）。Xiaomi-TabLDM在所有评估方法中排名第2。来源：https://arxiv.org/html/2609.03880  
Xiaomi-TabLDM：一种表格基础模型技术报告  
Xiaomi-TabLDM团队  
我们推出了Xiaomi-TabLDM，一个用于分类和回归的表格大数据库基础模型，它通过上下文学习实现预测，无需针对特定任务进行微调即可提供卓越的预测精度。我们的模型仅在基于结构因果模型（SCMs）生成的合成数据上进行预训练，这使得模型能够更灵活地利用上下文，并更高效地进行容量扩展。  
i) 新的性能标准。  
在多个基准测试中展现出强大的回归性能：Xiaomi-TabLDM在OpenML-CTR23上排名第一，在TALENT、TabArena和BCCO的回归任务中排名第二，在四套互补的基准测试中展示了持续强劲的回归性能。  
有利的性能-效率权衡：Xiaomi-TabLDM将强大的预测性能与显著更低的计算成本相结合。例如，在TabArena回归任务上，它获得了第二高的Elo分数，同时训练时间比排名第一的TabFM减少了82%，预测时间减少了68%。  
ii) 大规模合成预训练。  
Xiaomi-TabLDM扩展了用于预训练的合成表格数据的覆盖范围和多样性。我们还采用了三阶段训练策略，结合双流特征分组、轻量级Attention Residual和稀疏的Mixture-of-Experts，使Xiaomi-TabLDM能够在多样的表格任务中学习到更丰富的特征交互和专家专业化。  
iii) 测试时扩展。  
Xiaomi-TabLDM通过测试时计算扩展进一步扩展了表格预测能力，在推理时分配额外的计算可以持续提升模型的预测性能。  
模型  
Xiaomi-TabLDM  
日期  
2026年9月  
GitHub  
https://github.com/xiaomi-research/xiaomi-tabldm  
Hugging Face  
https://huggingface.co/occams/Xiaomi-TabLDM  
图1：在TabArena上的回归Elo表现（越高越好）。Xiaomi-TabLDM在所有评估方法中排名第2。  
图2：在OpenML-CTR23上33个回归数据集的平均排名比较（越低越好）。Xiaomi-TabLDM在所有评估方法中取得了最佳平均排名。  
图3：在TALENT上的回归平均排名表现（越低越好）。Xiaomi-TabLDM在所有评估方法中排名第2。  
## 1 引言  
结构化数据是众多领域（包括医疗保健、金融、物流、制造和公共政策）科学分析和运营决策的基础模态。与语言或感知数据不同，表格数据在明确的模式下组织异质变量，保留了数值尺度、缺失模式、分类结构以及对可靠预测和定量推理至关重要的特征间关系。因此，结构化数据建模的进展仍然是通用学习系统广泛发展中的一个独特而重要的组成部分。  
几十年来，表格数据的预测一直由针对数据集的特定机器学习流水线主导，特别是梯度提升树和自动化集成方法，如XGBoost、LightGBM、CatBoost和AutoGluon。这些方法依然强大可靠，大量实证研究表明，提升树在各种表格问题上与神经网络相比仍极具竞争力。  
与此同时，表格数据的深度学习探索了广泛的架构，包括基于注意力的模型（如TabNet、AutoInt、TabTransformer和SAINT）；神经决策与特征交互模型（如NODE、DANets、DCN-v2和T2G-Former）；以及更新近的方法，包括TANGOS、TabCaps、Trompt、ExcelFormer、TabR、DNNR和SwitchTab。  
尽管在表示学习方面取得了重大进展，但这些方法大多仍遵循为每个数据集单独训练和调整模型的传统范式。最近的调查进一步强调了人们对将大型预训练模型和基础模型范式应用于结构化和表格数据日益增长的兴趣。  
表格基础模型提供了一条不同的路径：一个预训练模型在大量合成或真实表格任务分布上学习，并通过上下文学习直接在未见过的数据集上执行预测，使用目标数据集的标记样本作为上下文，而不是重新训练模型参数。  
TabPFN通过展示一个在合成表格任务上预训练的Transformer可以在单次前向传播中执行强大的预测，确立了这一范式。后续版本稳步扩展了其实际应用范围。TabPFN v2提高了对更大数据集和异构特征类型的鲁棒性，而TabPFN-2.5进一步增加了支持的行数和特征数，缩小了与经过精心调优的机器学习集成方法之间的差距。  
与此同时，TabICL、TabDPT、LimiX、TabFM、EXAONE-Tabular及相关方法探索了更大的模型容量、更广泛的训练分布、替代架构以及向日益多样化的表格设置的扩展。  
这些发展共同将表格预测从为每个数据集训练专用模型转变为构建可复用的预训练预测器，这些预测器可以跨数据集和任务迁移。表格基础模型的最新进展越来越多地来自于联合扩展训练数据、模型容量和推理策略。  
沿着这个方向，我们探索了更广泛的合成先验、更高效的模型缩放以及统一表格基础模型中的测试时计算。我们推出了Xiaomi-TabLDM，一个新的表格基础模型，它遵循并扩展了这个方向。Xiaomi-TabLDM旨在提供更灵活的上下文利用，同时高效地扩展模型容量。该模型不依赖单一固定的表示路径，而是学习不同粒度上的互补特征交互，并在各层中有选择地保留有用信息。稀疏的专家计算进一步扩大了总模型容量，同时保持激活的计算量有限。这些组件共同使Xiaomi-TabLDM能够在不按比例增加推理成本的情况下提高预测能力。  
在四个公共基准测试套件（包括TALENT、TabArena、BCCO和OpenML-CTR23）上，Xiaomi-TabLDM在各种分类和回归任务中始终表现出色。其最强大和最一致的结果出现在回归任务上：Xiaomi-TabLDM在OpenML-CTR23上排名第一，在TALENT、TabArena和BCCO的回归任务中排名第二。特别是在专门针对表格回归的OpenML-CTR23基准测试上，Xiaomi-TabLDM在所有评估方法中取得了最佳平均排名。  
在TabArena上，Xiaomi-TabLDM获得了第二高的回归Elo分数，超越了近期强大的表格基础模型，包括TabPFN-3、TabPFN-2.6和TabICL-v2。  
除了回归，Xiaomi-TabLDM在混合任务评估中也保持高度竞争力。在TALENT上，它总体排名第二，并在二元分类上取得了最佳性能。在TabArena的51个数据集和816个任务中，它总体排名第四，而在BCCO上，它在分类和回归设置中都保持了顶级的综合性能。  
除了预测性能，Xiaomi-TabLDM还提供了有利的性能-效率权衡。在TabArena回归任务中，Xiaomi-TabLDM获得了第二高的Elo分数，同时所需的训练时间比TabFM少82%，预测时间少68%。在模型规模与TabPFN-3相当的情况下，Xiaomi-TabLDM也实现了更强的预测性能，特别是在回归任务上收益显著。这些结果表明，Xiaomi-TabLDM将持续强大的回归性能、具有竞争力的整体性能以及高效的模型扩展相结合。  
## 2 总体框架  
Xiaomi-TabLDM以表格数据集为输入，通过将标记的训练样本作为上下文示例进行条件化来预测测试目标，无需针对特定任务进行训练。其设计核心包含三个组件：大规模合成预训练、结合灵活上下文利用与稀疏专家专业化的高效架构，以及测试时计算扩展。  
### 2.1 架构  
Xiaomi-TabLDM的完整架构如图4所示。Xiaomi-TabLDM是一个基于Transformer的上下文学习（ICL）模型，通过三个顺序阶段处理表格：按列特征嵌入、按行聚合和上下文学习预测。  
图4：Xiaomi-TabLDM的总体架构，引入了一种ICL架构，具有双流特征分组方案、轻量级Attention Residual连接和稀疏的混合专家（MoE）设计，其中路由器在每个令牌上激活前K个路由专家中的MRM_{R}个以及MSM_{S}个共享专家。  
- • 按列特征嵌入。我们首先将输入特征组织成双流特征分组，这打破了特征对称性，产生了对特征排列更灵活、更鲁棒的列表示。然后每个分组列由一个Set Transformer独立编码，其诱导点注意力通过一组学习的诱导令牌进行摘要，而不是对所有行进行注意，从而生成最终的列嵌入。  
- • 按行特征聚合。对于每一行，每列的嵌入前附加一组可学习的CLS令牌，并由堆叠的自注意力层处理。在这些层中，我们引入了轻量级Attention Residual（AttnRes）连接来替代简单的加法残差，其中前一个残差块的输出被自适应融合，以改善跨深度的梯度流动和表示重用。最后，CLS令牌查询完整序列，其连接状态形成每个行的固定长度向量。  
- • 上下文学习预测。训练集和测试集的行嵌入被共同传递给一个执行ICL的Transformer：训练行彼此关注以建模集内结构，而测试行仅关注训练行以形成其预测。这里同样保留了轻量级AttnRes连接，并且选定层的前馈子层被稀疏的混合专家（MoE）替代，增强了模型适应异构数据集的能力。在按列特征嵌入和上下文学习预测阶段，注意力使用查询感知可扩展softmax（QASSMax），它根据输入长度重新缩放查询，以提高对大型训练集的长度泛化能力。  
Xiaomi-TabLDM设计的进一步阶段特定技术细节如下：  
- • 双流特征分组。Xiaomi-TabLDM通过将每列与通过循环移位从m个特征列中选择的另外两列进行分组，并使用共享的线性层Linear(R^3→R^d)对三元组进行编码。给定一个偏移量集S=(δ_1,δ_2,δ_3)，列j的嵌入为E[i,j]=Linear(x_{i,(j+δ_1) mod m}, x_{i,(j+δ_2) mod m}, x_{i,(j+δ_3) mod m})。Xiaomi-TabLDM运行两个这样的流，它们仅在S上不同。第一个流遵循TabICLv2，使用固定的二元偏移(1,2,4)，而第二个使用宽度自适应的偏移，以几何方式分布到目标跨度s，(1,⌊√s⌋,s)，其中s=min(s_max, m-1)，因此它尽可能宽地延伸，而不会环绕超出表格。当表格列数很少时，不同的偏移量模m后可能映射到同一列。这种冲突通过移动一个偏移量来解决，以使三个分组列保持不同，并且两个流保持互补。来自两个流的最终嵌入被相加形成按列输入嵌入。  
- • 轻量级AttnRes连接。我们引入了一种轻量级层间连接，以改善跨深度的信息传播，受Block AttnRes启发。标准残差连接仅将前一层的输出馈送给每个层，并以固定、均匀的权重聚合所有早期输出。轻量级AttnRes用学习的、输入相关的权重替代了这种固定求和，让每个层有选择地检索它需要的早期表示。为了高效，层被划分为块，并且该机制仅在深度的固定步长处应用，因此一个层关注已完成的块表示，而不是每一层。在第l层，一个可学习的伪查询w_l对每个候选块进行评分，并且在深度上的softmax将这些分数转化为聚合权重：α^l_j = exp(w_l^T * RMSNorm(b_j)) / Σ_{i=0}^{l-1} exp(w_l^T * RMSNorm(b_i))。这为选定层提供了对浅层和深层特征的学习访问。