大型语言模型为何在表格预测上失败

# 为什么大型语言模型在表格预测上失败

来源：https://arxiv.org/html/2608.02412

Marta Garnelo，Fundamental Technologies，[email protected] 与 Wojciech M. Czarnecki，Voylab，[email protected]

###### 摘要

大型语言模型（LLM）已成为众多任务中默认的工具，但它们在机器学习最常见的工作负载之一——表格数据的预测分析——上却收获寥寥。这一差距正是快速兴起的表格基础模型领域的创始前提，但通用 LLM 为何失败的问题始终悬而未决。我们在其最纯粹的推理模式下研究一个前沿 LLM——单次生成过程，提示中直接包含完整训练数据和测试数据，不使用任何工具、智能体脚手架，也不进行微调——并系统性地评估关于其失败的五个假设：(a) 无法处理带噪声或非线性不可分的数据；(b) 线性化的 CSV 格式掩盖了列结构；(c) 数字值的 token 化；(d) 每次查询分类的测试点数；(e) 输入维数。对照实验证伪了 (a)–(d)。相反，维数是决定性的：在三十一个基准数据集上扫描随机线性投影时，LLM 是九种方法中唯一准确率随维数增加而下降的，而所有经典基线要么保持平稳，要么有所提升。与 252 个配置好的经典模型进行行为比较后发现，在二维情况下 LLM 的预测方式类似一种局部的、基于距离的方法（网格一致性最高达 91.6%），但在更高维情况下，没有任何经典模型——即使在其上增加经过调优的、随维数变化的噪声——能重现它的预测。我们并不声称已经确定了内部机制；我们的结果更谦逊地表明，LLM 的能力随维数增加而瓦解，其方式没有任何被噪声破坏的经典学习器能够模仿——这解释了为什么 LLM 在别处如此强大，却不断在表格任务上输给已有五十年历史的基线方法，同时将预测的机制留作一个开放问题。

## 1 引言

大型语言模型（LLM）在短短几年内已成为一个非凡任务范围的默认工具：起草和编辑文本、编写和审查代码、回答问题、自动化多步骤工作流[3](https://arxiv.org/html/2608.02412#bib.bib3), [20](https://arxiv.org/html/2608.02412#bib.bib20), [2](https://arxiv.org/html/2608.02412#bib.bib2)。我们对这些系统的集体理解并未跟上它们的普及速度。我们大多通过基准分数来了解 LLM，而当分数令人失望时，标准的应对是围绕模型进行构建——检索、工具使用、智能体循环——而不是去询问核心模型究竟不能做什么，以及为什么。有一类问题显著地抵抗了这一成功故事：**表格数据的预测分析**。从一张包含数值特征的小表中学习分类器是应用机器学习的看家本领，而在这个任务上，使用上下文示例提示的 LLM 通常会输给比 transformer 早几十年的基线方法[13](https://arxiv.org/html/2608.02412#bib.bib13), [4](https://arxiv.org/html/2608.02412#bib.bib4), [6](https://arxiv.org/html/2608.02412#bib.bib6), [12](https://arxiv.org/html/2608.02412#bib.bib12)（图 1 中即为例证：LLM 与一组传统基线在 11 个简单任务上的性能对比）。这一差距如此明显，以至于一个专门的研究领域——大型表格模型，或表格基础模型——已经围绕这样的前提形成：通用 LLM 根本不适用于这一目的，需要专门构建的架构[14](https://arxiv.org/html/2608.02412#bib.bib14), [15](https://arxiv.org/html/2608.02412#bib.bib15), [24](https://arxiv.org/html/2608.02412#bib.bib24), [7](https://arxiv.org/html/2608.02412#bib.bib7)。这一前提通常是被断言而非解释的。LLM 真的不擅长这个任务吗？如果是，又是为什么？

参见图注

图 1：与简单传统方法相比，LLM 在表格预测任务上表现显著不佳。如第 C.1 节（https://arxiv.org/html/2608.02412#A3.SS1）所述，在 11 个选定的表格任务上的平均归一化准确率。分数按数据集归一化为（accuracy−majority）/（best baseline−majority），然后在数据集上取平均；误差棒显示数据集间的标准误差。

在本文中，我们没有去做通常的两件事。我们不追求最佳分数，也不提出新架构、提示方案或智能体。相反，我们取核心模型的最纯推理模式——一个包含完整训练集和测试集的单次用户回合，无系统提示、无工具、无微调——并将其作为研究对象。我们提出三个问题：

1. 研究问题 1：LLM 是否有能力在简单、经典的分类问题上进行上下文学习？
2. 研究问题 2：决定其（不）具备该能力的主要因素是什么？
3. 研究问题 3：它们最可能的内在工作机制——或者至少，最佳行为模型——是什么？

简要答案如下。研究问题 1：能，但只在表格保持“窄”的时候。研究问题 2：在从业者经验法则中选取的五个候选因素中——类别重叠（H1）、线性化 CSV 格式（H2）、数字 token 化（H3）、每次查询的测试负载（H4）、输入维数（H5）——受控实验证伪了前四个。只有维数是决定性的：在三十一个基准数据集的随机线性投影扫描中，LLM 是九种方法中唯一准确率随维数上升而下降的。研究问题 3：在二维任务上，也即模型确实有效的场景，它的决策边界几乎被简单的基于距离的方法精确重现——短长度尺度的高斯过程和低 k 的 k 最近邻（91–92% 的网格一致性）。但在更高维中，我们未能找到任何经典替代模型：在 252 个配置好的基线中，与 LLM 预测的最佳一致性只有 64.8%，并且为每个基线增加一个经过调优的、随维数变化的标签噪声模型，最多只能将一致性提升 0.64 个百分点。因此，LLM 的高维预测并不是我们库中任何标准学习器的预测，也不是这种学习器随维数退化为（多数类）猜测后的预测；其崩溃背后的机制仍然是开放的。

具体而言，我们的贡献包括：

- 一个 LLM 上下文分类的受控评估协议，包括一个记忆探测，用于在污染数据集的记忆被当作能力之前将其标记出来（第 5 节（https://arxiv.org/html/2608.02412#S5））。
- 通过针对性干预，证伪了四种关于 LLM 在表格预测上失败的流行解释：可分性、序列化格式、数值精度和测试批量大小（第 6 节（https://arxiv.org/html/2608.02412#S6））。
- 证据表明维数是主导限制因素：即使通过随机投影保持信息含量不变，LLM 也是九种方法中唯一性能随特征增加而下降的（第 7 节（https://arxiv.org/html/2608.02412#S7））。
- 对 LLM 在二维情况下作为局部、基于距离的预测器的行为刻画——高斯过程和低 k 的 kNN 能在 91–92% 的一致性下重现其二维决策边界——以及一个高维情况下的负面结果：252 个配置好的经典基线中，没有模型对 LLM 的预测一致性超过 64.8%，而为每个基线拟合一个随维数变化的噪声模型，最多只能增加 0.64 个百分点（第 8 节（https://arxiv.org/html/2608.02412#S8））。
- 对推理轨迹的定性分析：模型要么承认自己将猜测，要么陈述出与自身预测并不相符的决策规则（第 9 节（https://arxiv.org/html/2608.02412#S9））。

论文结构如下。第 2 节（https://arxiv.org/html/2608.02412#S2）界定了我们所说的“LLM”的含义，以及由此限定的主张范围和普遍性。第 3 节（https://arxiv.org/html/2608.02412#S3）陈述五个假设，第 4 节（https://arxiv.org/html/2608.02412#S4）描述数据集与实验设置。第 5 节（https://arxiv.org/html/2608.02412#S5）报告污染检查，第 6 节（https://arxiv.org/html/2608.02412#S6）给出证伪 H1–H4 的实验，第 7 节（https://arxiv.org/html/2608.02412#S7）给出维数结果，第 8 节（https://arxiv.org/html/2608.02412#S8）进行行为建模。第 9 节（https://arxiv.org/html/2608.02412#S9）考察模型对其预测的自我语言解释。我们在第 10 节（https://arxiv.org/html/2608.02412#S10）将发现置于先前工作中，在第 11 节（https://arxiv.org/html/2608.02412#S11）讨论局限和开放问题，最后在第 12 节（https://arxiv.org/html/2608.02412#S12）作出结论。

## 2 我们所说的“LLM”是什么意思？

关于 LLM 的主张，其清晰度只取决于背后的定义，因此我们先固定我们的定义。在本文中，**LLM** 指经过指令微调的自回归 transformer 语言模型[25](https://arxiv.org/html/2608.02412#bib.bib25)，通过纯文本界面访问。我们在所谓的**纯推理模式**下探测它：一条用户消息中包含完整训练数据和所有测试特征，要么以 CSV 文本附件形式，要么直接嵌入提示中，在默认采样下以一次生成过程回答；没有自定义系统提示、没有工具、没有代码执行、没有检索、没有多轮交互，也没有微调。任何叠加在上面的东西——智能体循环、脚手架、特征工程框架——衡量的都是框架本身。我们要测量的是模型。

具体来说，我们的实验使用 claude-opus-4-6[2](https://arxiv.org/html/2608.02412#bib.bib2)，它是撰写本文时的一个前沿模型（第 C.3 节（https://arxiv.org/html/2608.02412#A3.SS3）），并辅以一个使用 Qwen 的初步泛化实验，以开始将我们的主张从单个模型推广到更广泛的 LLM。因此，我们的主张是关于这一模式的，严格来说，是关于被测模型本身的；为了行文可读，我们用“LLM”来表述这些主张。注意，纯推理模式是一个比表面看起来更强而非更弱的目标：它正是上下文学习所被宣传的方式，也正是表格基础模型如 Nexus[9](https://arxiv.org/html/2608.02412#bib.bib9) 或 TabPFN 所运行的模式[14](https://arxiv.org/html/2608.02412#bib.bib14)。

## 3 五个假设

为什么一个能写出正确 SQL 并通过研究生考试的体系，却无法分开两个点云？从业者经验法则提供了若干解释（表 1（https://arxiv.org/html/2608.02412#S3.T1））。

#### H1（可分性）。LLM 只有在类别（几乎）可分时才能恢复决策规则；重叠、带噪声的类别会让它失败。  
*预测：* 性能应当随类别分离程度变化，完全分离的类别应当容易处理。

#### H2（序列化格式）。表格被逐行展平成 CSV 文本后，破坏了表格学习器所依赖的列结构：模型“无法竖直读取”。  
*预测：* 即使是显而易见的信号——答案就坐在某一列里——也应当无法被获取。

#### H3（数字 token 化）。实数成为变长的 token 串；长尾数膨胀上下文并模糊大小比较。  
*预测：* 降低数值精度应当有帮助。

#### H4（每次查询的测试负载）。所有测试行都在一次传递中被分类，因此每个预测可用的计算量随测试集大小增加而缩小。  
*预测：* 每次查询的测试行越少应当越有帮助。

#### H5（维数）。随着特征列数增长，模型的能力崩溃，且基本不受这些列所携带信息的影响。  
*预测：* 在保持信息的维数增加变换下，性能应当退化，而经典基线保持平稳或提升。

表 1：五个假设及其命运。

## 4 数据集与实验设置

#### 基准

我们在两个互补的测试台上评估 LLM：

1. **主基准**。第一个是一组共 19 个小规模分类数据集：其中 17 个是来自 scikit-learn 和 UCI 仓库的经典现实基准[21](https://arxiv.org/html/2608.02412#bib.bib21), [17](https://arxiv.org/html/2608.02412#bib.bib17)（如 iris、wine、breast cancer、sonar、heart disease），再加上两个受控极端而设计的合成生成器：`linear`，它在每个维数上都线性可分且无噪声；以及 `sin`，一个高度非线性的投票奇偶性任务，特征交互阶数最高为 d。经过第 5 节（https://arxiv.org/html/2608.02412#S5）的数据卫生检查后，主分析保留 19 个数据集中的 11 个。在调用 LLM 时，每次查询将一份训练/测试划分作为纯文本 CSV 附件与固定指令一起发送给 claude-opus-4-6，在单次用户回合中完成，无工具、无系统提示、使用 API 默认采样；模型必须返回所有测试行的可解析整数类别预测向量。划分为 5 折分层交叉验证，重复 5 个随机种子，得到每个数据集 25 个划分，共 475 次查询。

2. **二维合成任务**。第二个测试台是一组二十个二维任务，其决策边界具有定性差异（blobs、checkerboards、circles、moons、spirals、XOR 等，含干净和带噪声变体），见图 16（https://arxiv.org/html/2608.02412#A9.F16）。每个任务在提示中直接嵌入 60 个固定带标签点，模型对训练边界框上的规则 20×20 网格进行标注，网格以打乱后的块形式查询。

#### 基线与指标

LLM 与一组固定的八个经典分类器进行比较（kNN，k∈{1,5,10}；随机森林；正则化逻辑回归；AdaBoost；梯度提升；高斯过程分类器），它们都使用相同的特征和划分；此外还有第 8 节（https://arxiv.org/html/2608.02412#S8）行为分析中使用的 252 个配置变体。基础指标是每个划分的测试准确率；对于跨数据集聚合，我们使用归一化分数，其中 0 对应多数类猜测，1 对应原始未修改数据上最佳非 LLM 基线，因此高于 1 的值表示在变换条件下超过该参考。完整细节——包括数据集属性和生成器代码、确切提示、重试和解析逻辑、数据格式、基线配置和归一化——见第 4 节（https://arxiv.org/html/2608.02412#S4）。

## 5 数据卫生：模型已经知道了哪些数据集？

在任何准确率可以被解读为上下文学习之前，必须排除一种无聊的解释：模型已经记住了这些数据集。上述经典基准已经在教科书、教程和代码仓库中流传了几十年，几乎可以肯定出现在 LLM 的预训练语料中——包括标签。因此我们运行一个记忆探测。对于每个数据集、重复次数和折，我们留出一个目标类别的所有行，用其余类别的每一行来提示/训练，并对留出行以原始标签进行预测评分。这样一来，任何真正从提示中推断出输入-标签映射的预测器，在 *原始* 标签上的得分必须 ≈0；残余的原始标签准确率只能来自对数据集的先验知识。所有八个 cl