流形约束的表格深度神经网络

# 流形约束的表格深度神经网络
来源：https://arxiv.org/html/2607.09710
\(2018\)

###### 摘要。

表格分类通常受局部条件触发规则而非平滑全局模式的支配。然而，表格深度神经网络（DNNs）通常建立在偏好平滑变化和语义局部性的欧几里得表示之上。这种潜在的几何失配可能使表格DNN难以有效表示表格分类中常见的离散、规则划分结构。为解决此问题，我们提出HDE-Net，一种流形约束的DNN，能够在双曲空间中实现层级决策建模。我们首先将异质特征抽象为统一的潜在决策节点（LDN），并将其嵌入庞加莱球中，形成类似树结构推理的连续表示。对于数值特征，我们引入软决策路由机制，以可微分方式近似基于范围的局部规则，使其LDN语义更接近类别特征。进一步地，一种基于熵的容量分配算法自适应地调整每个数值特征的LDN数量，以平衡表达能力和复杂度。在TALENT-tiny-core分类基准（30个数据集）上，HDE-Net取得了最佳平均排名，在保持高效率的同时，超越了工业级GBDT和最新的表格DNN。

表格表示学习，几何深度学习，深度表格学习

††版权：ACM授权††期刊年份：2018††DOI：XXXXXXX.XXXXXXX††会议：请确保从权利确认邮件中输入正确的会议标题；2018年6月3-5日；纽约州伍德斯托克††ISBN：978-1-4503-XXXX-X/2018/06††CCS：计算方法 建模方法论

## 1. 引言

尽管深度神经网络（DNN）在感知领域取得了成功，表格数据仍然是许多高风险现实应用（如金融风险评估和医疗诊断）的核心（guo2017deepfm, (https://arxiv.org/html/2607.09710#bib.bib1)；buczak2015survey, (https://arxiv.org/html/2607.09710#bib.bib2)；hyland2020early, (https://arxiv.org/html/2607.09710#bib.bib3)；liu2025talent, (https://arxiv.org/html/2607.09710#bib.bib4)）。与通常具有同质语义单元及空间或序列不变性的感知数据（如图像和文本）不同，表格数据通常是异质的，并可能受离散的、条件触发的规则支配。近期的大规模表格基准（liu2025talent, (https://arxiv.org/html/2607.09710#bib.bib4)）表明，梯度提升决策树（GBDT），如XGBoost（chen2016xgboost, (https://arxiv.org/html/2607.09710#bib.bib5)）和CatBoost（prokhorenkova2018catboost, (https://arxiv.org/html/2607.09710#bib.bib6)），在多样化特征组合上仍然是强基线，而表格DNN通常表现出数据集特定的性能差异。

一种可能的解释是，GBDT与表格任务中常见的规则导向结构高度契合。它们执行任务驱动的空间划分，递归地将特征空间分解为符号决策规则的层次结构（例如，\(x > 19\) 或 \(\bm{x} = \text{male}\)）。相比之下，许多表格DNN在欧几里得平滑性和连续流形的假设下运行。从这个角度看，可能出现一种几何失配：欧几里得空间的平坦几何可能不太适合表示由层级决策规则引起的指数级分支模式。结果，神经模型可能依赖更深或更复杂的架构来逼近相对简单的基于规则的关系（cheng2016wide, (https://arxiv.org/html/2607.09710#bib.bib7)；guo2017deepfm, (https://arxiv.org/html/2607.09710#bib.bib1)；wang2017deep, (https://arxiv.org/html/2607.09710#bib.bib8)；arik2021tabnet, (https://arxiv.org/html/2607.09710#bib.bib9)）。

表1. 按特征组成划分的TALENT-tiny核心分类基准性能分解。总体（所有数据集），仅数值（仅包含数值特征的数据集），数值主导（数值特征占主导的数据集），类别主导（类别特征占主导的数据集）。数值表示平均排名（越低越好）。括号内表示相对于总体性能的排名变化（绿色/-：排名提升；红色/+：排名下降）。
| 模型 | 总体 | 仅数值 | 数值主导 | 类别主导 |
|------|------|--------|----------|----------|
| 树模型 | | | | |
| XGBoost | 7.4 | 10.5（+3.1） | 5.9（-1.5） | 3.0（-4.3） |
| LightGBM | 8.4 | 11.0（+2.6） | 6.5（-1.9） | 5.5（-2.8） |
| CatBoost | 8.6 | 12.3（+3.7） | 6.4（-2.2） | 3.9（-4.7） |
| 即插即用融合 | | | | |
| RealMLP | 8.9 | 6.4（-2.5） | 9.7（+0.8） | 12.9（+4.0） |
| MLP | 14.9 | 10.1（-4.8） | 17.8（+2.8） | 21.0（+6.1） |
| 伪对齐 | | | | |
| FT-Transformer | 11.6 | 12.3（+0.6） | 11.3（-0.3） | 10.7（-0.9） |
| ExcelFormer | 13.9 | 14.7（+0.8） | 13.3（-0.6） | 13.2（-0.7） |

为缓解此问题，近期研究致力于改进异质特征表示，以更好地捕捉层级结构并降低模型复杂度。然而，基准结果表明，许多现有方法在不同数据集上仍表现出显著的性能变化（表1 (https://arxiv.org/html/2607.09710#S1.T1)）：1) 即插即用融合方法（gorishniy2022embeddings, (https://arxiv.org/html/2607.09710#bib.bib10)；holzmuller2025realmlp, (https://arxiv.org/html/2607.09710#bib.bib11)）通常对数值和类别特征应用单独的处理流水线，缺乏统一的语义表示。虽然它们在数值主导的数据集上有效，但在类别主导的场景中性能可能下降。2) 伪对齐方法（song2019autoint, (https://arxiv.org/html/2607.09710#bib.bib12)；gorishniy2021revisiting, (https://arxiv.org/html/2607.09710#bib.bib13)；chen2023excelformer, (https://arxiv.org/html/2607.09710#bib.bib14)；wang2021dcn, (https://arxiv.org/html/2607.09710#bib.bib15)）将所有特征投影到共享的嵌入空间中。然而，这种对齐主要是维度上的而非语义上的：类别特征通过值级嵌入表示，而数值特征通常受限于特征级的线性变换。由于缺乏局部分区机制，数值特征可能难以获得非线性能力和相当的语义粒度。因此，这些模型往往依赖重型骨干网络来弥补表示限制，导致性能一般且计算成本增加。

从几何角度重新审视，双曲几何为建模层级结构提供了合适的数学基础。庞加莱球具有负曲率和指数级体积增长，已被广泛用作树状结构的连续模拟（nickel2017poincare, (https://arxiv.org/html/2607.09710#bib.bib16)）。双曲神经网络通过嵌入显式层级结构在图学习中展现了良好前景（peng2021hyperbolic, (https://arxiv.org/html/2607.09710#bib.bib17)）。然而，它们在通用表格建模中的应用仍然有限。一个关键挑战是表格数据通常缺乏显式拓扑，这需要首先统一建模单元（即特征条件），然后构建双曲表示。这引出了第二个问题，我们称之为表示粒度失配：类别值和数值范围通常以不同的语义粒度建模。

在这项工作中，我们提出HDE-Net，一种流形约束框架，通过几何公式桥接树结构决策规则和神经表示。为此，我们引入潜在决策节点（LDN）的概念，这是一种统一的建模单元，将异质特征条件抽象为离散的逻辑原子。对于数值特征，我们设计软决策路由，以可微分方式将连续值分解为多个LDN，模拟决策树的基于范围的分裂逻辑。这些统一的LDN随后被嵌入庞加莱球，形成双曲决策嵌入（HDE），其中负曲率自然诱导层级组织。最后，我们引入基于熵的容量分配算法，根据每个数值特征的信息密度自适应分配LDN数量，平衡模型复杂度和表达能力。

我们的主要贡献总结如下：

- • 统一的决策中心框架。我们引入潜在决策节点（LDN）作为基本建模单元，将类别值和数值范围对齐到共享的语义空间。对于数值特征，我们提出软决策路由用于可微分范围离散化，以及基于熵的容量分配算法以平衡粒度和复杂度。
- • 流形约束的表格范式。我们提出双曲决策嵌入（HDE），将LDN表示在庞加莱球中，作为树结构推理的连续模拟。通过将HDE与轻量级MLP预测器结合，我们开发了HDE-Net，一种流形约束的表格DNN，鼓励神经表示中的层级决策结构。
- • 最先进的性能。在TALENT-tiny-core分类基准（30个数据集）上的大量实验表明，HDE-Net取得了最佳平均排名，在保持高效率的同时，超越了工业级GBDT模型和最新的表格DNN。
- • 几何可视化和实证验证。我们设计了可视化分析，揭示了HDE-Net与决策树结构之间的几何对齐，为提出的几何观点提供了实证支持。

本文其余部分组织如下。第2节 (https://arxiv.org/html/2607.09710#S2) 回顾当前表格DNN和双曲DNN的相关工作。第3节 (https://arxiv.org/html/2607.09710#S3) 提供双曲几何和关键算子的预备知识。第4节 (https://arxiv.org/html/2607.09710#S4) 详细介绍HDE-Net。第5节 (https://arxiv.org/html/2607.09710#S5) 展示实验结果和分析，随后在第6节 (https://arxiv.org/html/2607.09710#S6) 得出结论。

## 2. 相关工作

### 2.1. 基于欧几里得的深度表格范式

现有的深度表格学习方法通常将异质特征映射到欧几里得表示中，通常假设相对平滑的流形。我们根据它们处理特征异质性的方式对这些方法进行分组。

混合与融合架构。诸如Wide&Deep（cheng2016wide, (https://arxiv.org/html/2607.09710#bib.bib7)）、TabNet（arik2021tabnet, (https://arxiv.org/html/2607.09710#bib.bib9)）、TabTransformer（huang2020tabtransformer, (https://arxiv.org/html/2607.09710#bib.bib18)）、MLP-PLR（gorishniy2022embeddings, (https://arxiv.org/html/2607.09710#bib.bib10)）和RealMLP（holzmuller2025realmlp, (https://arxiv.org/html/2607.09710#bib.bib11)）等方法明确承认特征差异，通过应用单独的处理流水线（例如，对数值特征使用原始输入或周期编码，对类别特征使用嵌入）后再融合。这些设计对于特定特征类型可能有效，但最终融合通常通过欧几里得空间中的线性拼接进行，缺乏跨特征类型的显式统一语义表示。

分词与伪对齐。受NLP中基于令牌建模的启发，诸如AutoInt（song2019autoint, (https://arxiv.org/html/2607.09710#bib.bib12)）、FT-Transformer（gorishniy2021revisiting, (https://arxiv.org/html/2607.09710#bib.bib13)）、DCNv2（wang2021dcn, (https://arxiv.org/html/2607.09710#bib.bib15)）、Excelformer（chen2023excelformer, (https://arxiv.org/html/2607.09710#bib.bib14)）和TabM（gorishniy2024tabm, (https://arxiv.org/html/2607.09710#bib.bib19)）等方法将所有特征投影到共享的欧几里得嵌入空间。这种维度对齐使得可以使用Transformer风格的骨干网络。然而，类别特征通常通过值级嵌入表示，而数值特征通常通过特征级线性投影（\(x \cdot W + b\)）处理。这样的表示可能无法显式建模决策树风格推理中常用的基于范围的分区，因此往往依赖更深或更具表达力的骨干网络来捕捉复杂的特征交互。

检索与基于先验的方法。为了增强参数化模型的表达能力，诸如TabR（gorishniy2023tabr, (https://arxiv.org/html/2607.09710#bib.bib20)）和ModernNCA（ye2024revisiting, (https://arxiv.org/html/2607.09710#bib.bib21)）等方法通过检索相似样本来增强输入表示，而TabPFN（hollmann2022tabpfn, (https://arxiv.org/html/2607.09710#bib.bib22)）则利用从合成数据集学到的先验。这些方法能够实现强大的实证性能，但通常依赖于外部记忆、检索程序或大规模预训练，这可能会引入额外的计算成本或对分布偏移的敏感性。

### 2.2. 双曲几何与树对齐

双曲表示学习。双曲空间表现出负曲率和随半径指数增长的体积，被广泛用作树状结构的连续模拟（nickel2017poincare, (https://arxiv.org/html/2607.09710#bib.bib16)）。这一特性激励了在具有显式层级结构的领域中的一系列表示学习方法，包括图学习（chami2019hyperbolic, (https://arxiv.org/html/2607.09710#bib.bib23)；dai2021hyperbolic, (https://arxiv.org/html/2607.09710#bib.bib24)）、计算机视觉（lensink2022fully, (https://arxiv.org/html/2607.09710#bib.bib25)）和多模态学习（desai2023hyperbolic, (https://arxiv.org/html/2607.09710#bib.bib26)）。然而，表格数据通常缺乏显式拓扑，这使得直接应用双曲表示变得不那么直接。在这种情况下，层级结构必须通过数据驱动的方法隐式诱导。

几何表格模型。近期研究探索了将经典机器学习方法扩展到非欧几里得几何。HyperDT（chlenski2023fast, (https://arxiv.org/html/2607.09710#bib.bib27)）将决策树推广到双曲空间，而PXGBoost（suganthan2025euclidean, (https://arxiv.org/html/2607.09710#bib.bib28)）将梯度提升扩展到庞加莱球。这些工作表明双曲几何与基于树的分裂机制兼容。然而，它们主要遵循传统的模型设计，并不专注于端到端的表示学习或深度特征交互建模。

弥合差距。相比之下，HDE-Net旨在结合深度表格模型的灵活性与双曲几何的层级归纳偏置。我们的方法不是直接应用双曲分类器，而是首先将异质特征抽象为统一的潜在决策节点（LDN），然后在庞加莱球中以完全可微、端到端的方式学习它们的层级组织。

参考图注
图1. 决策树与双曲决策嵌入（HDE）之间的几何对应关系。（左）用于情绪障碍预测的示例决策树。（中）嵌入在庞加莱球中的潜在决策节点（LDN）：类别值（如男性、女性）直接映射到LDN，而数值特征（如年龄）则通过软路由分配到多个LDN，模拟了决策树的基于范围的分裂逻辑。（右）HDE-Net推理：双曲嵌入（实线）被映射到欧几里得切空间（虚线）