TabFM-Auto:面向表格基础模型的自进化流水线

Hugging Face Daily Papers 论文

摘要

TabFM-Auto引入了一个自进化流水线系统,该系统将表格基础模型与语言模型代理配对,以迭代方式优化数据处理,在TabArena和MLE-Bench基准测试中取得顶尖性能,并具有转移到其他模型的能力。

表格基础模型通过在合成表上预训练,在结构化数据上实现了强大的零样本准确率,但它们忽略了携带数据集语义的列名、任务描述和辅助文件。与此同时,自进化机器学习工程(MLE)代理从头开始在每个数据集上训练模型,但联合搜索特征、架构和超参数是嘈杂的且容易过拟合。我们引入了TabFM-Auto,它将表格基础模型TabFM与一个围绕它进化的数据管道的语言模型代理配对。在数据集元数据和验证反馈的指导下,TabFM-Auto迭代地优化数据清理、特征工程、上下文选择和后处理,以减少TabFM的错误。在TabArena基准测试的所有51个数据集中,五个不同代理和语言模型的TabFM-Auto配置占据了前五名总体位置,最佳配置将TabFM的Elo从1785提高到2013。发现的管道还可以转移到其他冻结的表格基础模型(+69到+143 Elo),无需进一步搜索。在MLE-Bench的8个表格竞赛中,TabFM-Auto在MLE代理中排名第一。
查看原文
查看缓存全文

缓存时间: 2026/09/30 04:14

论文页面 - TabFM-Auto:面向表格基础模型的自演进流水线

来源:https://huggingface.co/papers/2609.37989

摘要

表格基础模型通过在合成表格上进行预训练,在结构化数据上实现了强大的零样本准确率,但它们忽略了承载数据集语义的列名、任务描述和辅助文件。与此同时,自演进机器学习工程智能体在每个数据集上从头开始训练模型,然而联合搜索特征、架构和超参数过程嘈杂且易过拟合。我们引入 TabFM-Auto,将表格基础模型 TabFM 与围绕其演进数据流水线的语言模型智能体相结合。在数据集元数据和验证反馈的引导下,TabFM-Auto 迭代地优化数据清洗、特征工程、上下文选择和后处理,以降低 TabFM 的错误率。在 TabArenabenchmark 基准的所有 51 个数据集上,采用不同智能体和语言模型的五种 TabFM-Auto 配置占据了总排名前五的位置,最佳配置将 TabFM 从 1785 Elo 提升至 2013 Elo。发现的流水线还可以无需进一步搜索即迁移至其他冻结表格基础模型(+69 至 +143 Elo)。在 MLE-Bench 的 8 个表格竞赛中,TabFM-Auto 在 MLE 智能体中排名第一。

查看 arXiv 页面 (https://arxiv.org/abs/2609.37989) 查看 PDF (https://arxiv.org/pdf/2609.37989) 项目页面 (https://deqingfu.github.io/tabfm-auto/) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.37989)

在你的智能体中获取此论文:

hf papers read 2609\.37989

没有最新 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2609.37989 以从此页面关联。

引用本文的数据集0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.37989 以从此页面关联。

引用本文的 Spaces0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2609.37989 以从此页面关联。

包含本文的合集0

没有合集包含此论文

将此论文添加至合集 (https://huggingface.co/new-collection) 以从此页面关联。

相似文章

TabPFN-3.5:技术报告

arXiv cs.LG

TabPFN-3.5 是一种新型表格基础模型,在多个基准测试中创下最佳性能,并在推理速度和多模态能力上进行了改进。

训练公平表格基础模型

arXiv cs.LG

本文提出FairTFM,一种将公平性约束融入表格基础模型的训练策略,通过上下文学习实现公平预测,无需针对特定任务的重新训练。

表格基础模型是否与自身一致?

arXiv cs.LG

本文研究了表格基础模型(TFMs)如 TabPFN、TabICL、TabDPT 和 TabFM 是否能够产生与任何联合分布一致的预测。结果表明,所有被评估的 TFM 在分类和回归任务中均违反了边际化一致性和分解一致性,从而对其贝叶斯推断的主张提出了质疑。