TabLoRA: 面向大规模表格数据的参数高效低秩集成学习

# TabLoRA: 面向大规模表格数据的参数高效低秩集成学习
来源: https://arxiv.org/html/2607.10077
###### 摘要

表格学习仍然由梯度提升决策树（GBDT）主导，而近年来深度学习方法已变得日益具有竞争力。然而，将深度表格模型应用于大规模数据集仍具挑战性，因为大样本量、高特征维度或众多目标类别会引入大量计算成本。我们提出 TabLoRA，一种用于大规模表格学习的参数高效可训练神经集成方法。TabLoRA 并非使用完全独立的集成主干，而是在预测器之间共享一个公共主干，并引入预测器特定的低秩适配，从而在不复制全部参数的情况下实现集成式预测。在多个基准测试中，与 GBDT 方法和近期深度学习基线在相同资源约束下相比，TabLoRA 在预测性能和实际效率之间取得了有利的平衡。内存分析和消融研究进一步表明，所提出的设计在保留完整集成大部分优势的同时，提高了神经集成学习的可行性。

###### 关键字:

大规模表格数据 , 深度学习 , 低秩适配 , 集成 , 参数高效

††期刊:arXiv\\affiliation

\[第一\]组织=苏州大学数学科学学院，地址=江苏省苏州市十梓街1号，邮编=215006，省份=江苏省，国家=中国

\\affiliation

\[第二\]组织=杜克昆山大学数字创新研究中心，地址=江苏省昆山市杜克大道8号，邮编=215000，省份=江苏省，国家=中国

## 1 引言

表格数据仍然是现实世界机器学习应用中的基本数据模态\[25 (https://arxiv.org/html/2607.10077#bib.bib102)\]。历史上，梯度提升决策树（GBDT）\[7 (https://arxiv.org/html/2607.10077#bib.bib1),27 (https://arxiv.org/html/2607.10077#bib.bib11),33 (https://arxiv.org/html/2607.10077#bib.bib7)\]因其强大的经验性能和鲁棒性\[3 (https://arxiv.org/html/2607.10077#bib.bib14),37 (https://arxiv.org/html/2607.10077#bib.bib34),16 (https://arxiv.org/html/2607.10077#bib.bib20)\]长期主导该领域。然而，近年来，表格深度学习已变得日益具有竞争力。特别是，诸如 TabPFN\[19 (https://arxiv.org/html/2607.10077#bib.bib54),20 (https://arxiv.org/html/2607.10077#bib.bib74),15 (https://arxiv.org/html/2607.10077#bib.bib76)\]等上下文学习方法表明，在适当设计下，深度学习模型在中小型数据集上能够匹配甚至超越 GBDT。

尽管取得了这些进展，大规模表格学习在计算上仍具挑战性。在此，“大规模数据集”指样本量巨大、特征维度高或目标类别多的场景。在这些场景中，GBDT 受限于树构建、分裂搜索和按类别建模的成本，而深度学习模型在训练过程中面临巨大的内存和计算开销，导致这些方法成本高昂甚至不可行。

在深度学习的方法中，基于 MLP 的模型提供了简单且计算高效的基石，使其天然适用于大规模场景。近期工作进一步表明，融合经典机器学习结构\[30 (https://arxiv.org/html/2607.10077#bib.bib69),10 (https://arxiv.org/html/2607.10077#bib.bib72),45 (https://arxiv.org/html/2607.10077#bib.bib71)\]可以显著提升其性能。与更复杂的架构相比，此类设计具有实际效率优势，且更易于扩展到大规模数据集。

然而，即使在此设计空间内，一个根本性挑战依然存在。高表达能力的 MLP 模型通常伴随着巨大的内存开销，且该开销随特征维度和数据集规模增长，而内存高效的设计则往往表达能力有限。这揭示了大规模表格学习中可扩展性与表达力之间的内在权衡，现有方法尚未充分解决这一问题。

为克服这一限制，我们提出 TabLoRA，一种参数高效的集成框架，它结合了共享主干学习与预测器特定的低秩适配。每个预测器被建模为共享权重的低秩扰动，使模型能够近似深度集成的行为，而无需内存成本线性增长。此外，我们引入了轻量级特征变换以生成多个输入表示，进一步在不增加特征维度的情况下增强了预测器间的多样性。在大规模数据集基准上的实验结果表明，与最先进的基线相比，TabLoRA 实现了强大的预测性能以及有利的实际性能-效率权衡。进一步的消融研究表明，TabLoRA 显著减少了神经集成学习的参数数量，同时保留了完整集成的预测能力。

本文的主要贡献总结如下:

- 1.我们提出了 TabLoRA，一个用于大规模表格学习的参数高效可训练神经集成。
- 2.我们设计了一种共享主干、低秩适配机制，无需复制全部集成参数即可实现预测器特定的专门化。
- 3.我们通过实验证明，TabLoRA 在大规模表格基准上达到了有利的性能-效率权衡，消融实验验证了特征适配器和低秩集成参数化的作用。

## 2 相关工作

### 2.1 表格数据的深度学习

本节概述表格数据深度学习先前研究的相关概念。我们根据网络结构将深度学习模型分为三类：树诱导网络、基于Transformer的网络以及其他专门模型。

##### 基于MLP的架构

基于MLP的模型是表格深度学习中最具实用性的方向之一。尽管普通MLP通常不如GBDT，但近期研究表明，通过融合经典机器学习技术、更好的正则化、特征编码、检索和集成学习，其性能可大幅提升。早期工作通过正则化和精心设计的默认设置改进了MLP的训练和泛化\[36 (https://arxiv.org/html/2607.10077#bib.bib33),26 (https://arxiv.org/html/2607.10077#bib.bib94),21 (https://arxiv.org/html/2607.10077#bib.bib75)\]。另一条工作线专注于改进输入表示。例如，MLP-PLR\[11 (https://arxiv.org/html/2607.10077#bib.bib95)\]引入了数值特征编码方法来更好地表示连续变量，而TabR\[12 (https://arxiv.org/html/2607.10077#bib.bib92)\]通过检索机制增强基于MLP的预测，以提升鲁棒性和预测性能。其他方法更直接将经典学习原理融入神经架构。ModernNCA\[45 (https://arxiv.org/html/2607.10077#bib.bib71)\]将邻域成分分析纳入基于MLP的框架，而TabM\[10 (https://arxiv.org/html/2607.10077#bib.bib72)\]使用MLP作为基学习器，并采用批集成和数值特征编码高效构建多个多样化的预测器。类似地，NCART\[30 (https://arxiv.org/html/2607.10077#bib.bib69)\]将MLP与基于决策树的集成学习相结合。这些研究共同表明，当配备合适的表格特定机制时，类MLP主干仍具有竞争力。

##### 基于Transformer的架构

基于Transformer的模型通过注意力机制显式建模特征或样本间的交互，为表格学习提供了另一个重要方向。受Transformer\[41 (https://arxiv.org/html/2607.10077#bib.bib13)\]成功启发，早期方法将自注意力适配到异构表格输入。TabTransformer\[24 (https://arxiv.org/html/2607.10077#bib.bib23)\]使用自注意力将类别特征映射为上下文嵌入，提高了对缺失或噪声值的鲁棒性，并具有一定可解释性。FT-Transformer\[13 (https://arxiv.org/html/2607.10077#bib.bib19)\]通过将数值和类别特征标记化并联合输入Transformer块，提供了更直接的适配方案。除了特征级注意力，一些方法引入了更结构化的注意力机制。TabNet\[2 (https://arxiv.org/html/2607.10077#bib.bib9)\]采用带有软实例特征选择的顺序决策过程，而SAINT\[38 (https://arxiv.org/html/2607.10077#bib.bib29)\]结合了特征级自注意力和样本间注意力，并进一步使用自监督对比预训练。NPT\[28 (https://arxiv.org/html/2607.10077#bib.bib30)\]将整个数据集作为输入，并使用数据点之间的注意力来建模样本级关系。更近期的模型通过专门的交互模块或结构信息进一步改进了基于Transformer的表格学习。ExcelFormer\[6 (https://arxiv.org/html/2607.10077#bib.bib93)\]在特征交互的注意力模块与嵌入更新之间交替，而T2GFormer\[44 (https://arxiv.org/html/2607.10077#bib.bib60)\]探索了基于图的Transformer建模。这些方法展示了注意力机制在表格数据上的灵活性，不过其计算成本在大规模场景中可能成为问题。

##### 其他专门架构

除基于MLP和Transformer的模型外，许多研究设计了专门架构以应对表格数据的结构异质性。与图像或语言不同，表格数据没有通用的空间或序列结构，这使得直接迁移标准深度学习架构变得困难。一种策略是将表格数据转换为其他模态，如图像或文本，然后应用为这些领域设计的模型\[39 (https://arxiv.org/html/2607.10077#bib.bib45),46 (https://arxiv.org/html/2607.10077#bib.bib44),18 (https://arxiv.org/html/2607.10077#bib.bib51)\]。另一种策略是设计任务特定的神经架构，以更好地捕捉特征交互和高层表示。例如，DANets\[5 (https://arxiv.org/html/2607.10077#bib.bib62)\]和TabCaps\[4 (https://arxiv.org/html/2607.10077#bib.bib58)\]为表示学习引入了专门结构，而NODE\[32 (https://arxiv.org/html/2607.10077#bib.bib10)\]将可微的勿忘决策树集成到类集成神经模型中。此外，自监督学习方法\[47 (https://arxiv.org/html/2607.10077#bib.bib46),40 (https://arxiv.org/html/2607.10077#bib.bib64),17 (https://arxiv.org/html/2607.10077#bib.bib68)\]和迁移学习方法\[43 (https://arxiv.org/html/2607.10077#bib.bib57),29 (https://arxiv.org/html/2607.10077#bib.bib67)\]已被引入以改进表示学习和下游预测性能。这些工作反映了表格深度学习架构设计的多样性。

##### 预训练模型

预训练表格模型近期已成为一个前景广阔的方向，旨在跨数据集迁移知识，并在有限的任务特定训练下适应新的表格任务。一个代表性例子是TabPFN\[19 (https://arxiv.org/html/2607.10077#bib.bib54),20 (https://arxiv.org/html/2607.10077#bib.bib74)\]，它展示了上下文学习在小型表格预测中的有效性，并最近被扩展到更具可扩展性的场景\[14 (https://arxiv.org/html/2607.10077#bib.bib73),15 (https://arxiv.org/html/2607.10077#bib.bib76)\]。沿着这一方向，若干工作进一步改进了可扩展性、通用性或任务覆盖范围。TabDPT\[31 (https://arxiv.org/html/2607.10077#bib.bib98)\]将检索技术与自监督学习相结合以训练表格基础模型，而TabICL\[34 (https://arxiv.org/html/2607.10077#bib.bib96),35 (https://arxiv.org/html/2607.10077#bib.bib97)\]采用先列后行的注意力机制来解决TabPFN的可扩展性限制。LimiX\[49 (https://arxiv.org/html/2607.10077#bib.bib99),42 (https://arxiv.org/html/2607.10077#bib.bib100)\]进一步拓宽了范围，使用单一模型处理多种表格任务，包括分类、回归、缺失值插补、特征选择和样本选择。这些方法显示了预训练表格预测器的潜力，尽管其推理和适配成本在大规模应用中仍是重要考量。

### 2.2 参数高效微调

参数高效微调（PEFT）\[9 (https://arxiv.org/html/2607.10077#bib.bib77)\]旨在通过仅更新少量任务特定参数来使预训练模型适应下游任务。PEFT方法通常冻结大部分预训练权重，并引入轻量级可训练组件，如适配器和低秩更新。

适配器调优是一种代表性的PEFT策略。Houlsby等人\[22 (https://arxiv.org/html/2607.10077#bib.bib83)\]引入了瓶颈适配器，在预训练网络中插入小型可训练模块，同时固定主干网络。另一个重要的PEFT方法是低秩适配。LoRA\[23 (https://arxiv.org/html/2607.10077#bib.bib81)\]冻结预训练权重，并在选定层中注入可训练的低秩矩阵，通过低秩分解表示权重更新。这大大减少了可训练参数数量，同时保持了具有竞争力的性能。若干扩展进一步改进了LoRA的灵活性和效率。AdaLoRA\[48 (https://arxiv.org/html/2607.10077#bib.bib86)\]动态地在权重矩阵间分配参数预算，而QLoRA\[8 (https://arxiv.org/html/2607.10077#bib.bib87)\]将LoRA与三项创新相结合，以实现大语言模型的内存高效微调。

## 3 方法

### 3.1 概述

参见图注图 1:TabLoRA 概览。该模型结合了预测器特定的特征适配、共享主干学习与低秩适配以及集成聚合。我们提出一种用于表格学习的参数高效集成框架。如图 1 (https://arxiv.org/html/2607.10077#S3.F1) 所示，我们的方法通过具有低秩适配的共享主干构建多个预测器，从而实现高效的集成建模。

给定一个输入样本 \(x \in \mathbb{R}^D\)，模型并行产生 \(K\) 个预测 \(\{f_k(x)\}_{k=1}^K\)，这些预测在训练和推理时汇总。整体架构包含三个组件：(1) 生成 \(K\) 个表示的特征适配器，(2) 具有低秩适配的共享主干，以及 (3) 分组预测头。

### 3.2 通过分组适配器的特征扩展

为高效构建多个预测器，我们首先将输入特征向量变换为 \(K\) 个并行表示。给定输入特征 \(x \in \mathbb{R}^D\)，我们定义

\[
x_k = x + \phi_k(x),
\]
(1)

其中 \(\phi_k(\cdot)\) 是一个适配器\[22 (https://arxiv.org/html/2607.10077#bib.bib83)\]：

\[
\phi_k(x) = W_{\text{up}}^{(k)}\, \sigma \left( W