LimiX-2：一种面向通用结构化数据智能的上下文机制网络
摘要
LimiX-2 是一个用于结构化数据的预训练基础模型，它使用上下文机制网络在主要表格基准测试中排名第一，支持多种任务而无需针对特定任务的参数更新。
查看缓存全文
缓存时间: 2026/09/17 02:52
论文页面 - LimiX-2：面向通用结构化数据智能的上下文机制网络
来源：https://huggingface.co/papers/2609.17488
https://huggingface.co/papers/2609.17488#%F0%9F%A7%A9-limix-2-towards-general-structured-data-intelligence🧩 LimiX-2：迈向通用结构化数据智能
一个预训练模型，应对多种结构化数据任务，在三大表格基准测试中位列第一。
LimiX-2 是一个面向结构化数据的预训练基础模型，能够支持 🎯分类 📈回归 🧩缺失值插补 🔗因果骨架恢复——对于下游预测任务无需针对特定任务进行参数更新。
https://huggingface.co/papers/2609.17488#%F0%9F%8F%86-1-across-all-three-benchmarks🏆 在所有三项基准测试中位列第一
在我们评估的所有三大广泛表格基准测试中，LimiX-2 均取得榜首位置： 🏆 TabArena — 1935 Elo 🏆 TALENT — 1506 Elo 🏆 BCCO — 1432 Elo LimiX-2 整体排名 #1，领先于领先的表格基础模型和强大的数据集特定系统。并且随着模型规模从12.5M → 406.2M 参数扩展，性能持续提升：在所有五个评估的扩展序列中表现均一致改善，在测量范围内没有明显的饱和迹象。那么，一个预训练模型如何能处理如此多样化的结构化数据问题？
https://huggingface.co/papers/2609.17488#a-table-is-more-than-a-target-column一张表格不仅仅是一个目标列。
大多数表格基础模型围绕一个问题组织：给定 ( x )，预测 ( y )。LimiX-2 采用了更广阔的视角：模型能否学习表格中变量之间的关系，从而从不同的观测值中推断出不同的未知量？ 我们引入了上下文机制网络（CMNs），这是一种新的范式，将结构化数据的上下文学习从以目标为中心的预测转向依赖上下文的联合建模。CMNs 旨在捕捉 ( p(x,y \mid D_{\mathrm{context}})) 背后更广泛的依赖结构，而不是仅关注 ( p(y \mid x, D_{\mathrm{context}}))。LimiX-2 通过**上下文条件掩码建模（CCMM）实现了这一思想。在预训练期间，不同的变量在不同的观测模式下被掩码，将同一张表格转化为许多条件预测问题。该模型不仅仅学习如何预测一个指定的目标，而是学习从不同的可用证据中推断不同的变量。LimiX-2 完全在由多种结构因果模型（SCMs）**生成的合成数据集上进行预训练，涵盖不同的图结构、功能机制、分布和观测过程。这种更广泛的训练目标，为单个预训练模型提供了分类、回归和缺失值重建的统一基础。除了预测性能，我们还发现 LimiX-2 学习到的特征注意力包含可用于因果骨架恢复的结构信息——这表明，学习变量间的条件关系可以捕捉到超越单一监督目标的结构。这指向了一个更广泛的可能性：
https://huggingface.co/papers/2609.17488#structured-data-foundation-models-may-move-beyond-predicting-predefined-targets-toward-learning-reusable-mechanisms-of-how-variables-relate-and-interact结构化数据基础模型可能会超越预测预定义目标，转向学习变量如何关联和交互的可重用机制。
https://huggingface.co/papers/2609.17488#a-table-is-more-than-a-target-column-prediction-may-be-only-the-beginning一张表格不仅仅是一个目标列。预测可能只是开始。
下一个问题是：
https://huggingface.co/papers/2609.17488#how-far-can-general-structured-data-intelligence-scale通用结构化数据智能的扩展极限在哪里？
https://huggingface.co/papers/2609.17488#limix-2-is-just-the-beginning-follow-the-project-as-we-push-toward-larger-models-broader-capabilities-and-more-general-structured-data-intelligence-%F0%9F%9A%80LimiX-2 只是开始。请关注该项目，我们将朝着更大的模型、更广泛的能力和更通用的结构化数据智能迈进。 🚀
📄 论文 —https://arxiv.org/abs/2609.17488 💻 代码 —https://github.com/limix-ldm-ai/LimiX 🤗 模型 —https://huggingface.co/stable-ai/LimiX-2 非常欢迎复现、独立评估、集成和反馈。
相似文章
Xiaomi-TabLDM: 表格基础模型技术报告
介绍了Xiaomi-TabLDM，一个表格基础模型，它利用合成数据和上下文学习实现卓越的预测精度，无需特定任务微调，并在多个基准测试中获得顶级排名。
从残差到推理：基于LLM的表格数据机制推断
介绍了多智能体残差上下文学习（MARICL），这是一种智能体框架，利用LLM智能体分析基础模型在表格数据上的残差，假设缺失的结构，并通过文本梯度优化产生显式的修正项。在九个基准测试中，MARICL持续优于其基础模型，并在无细胞蛋白质预测中展示了机制泛化能力。
LoGIC：用于表基础模型中节点级图上下文学习的预算上下文构建
LoGIC 为节点级图上下文学习引入了预算上下文构建，优化了标记和未标记节点的选择，以减少内存使用并实现大图上的可扩展推理。
@Meituan_LongCat：介绍 LongCat-2.0 1.6万亿参数 · MoE 约480亿活跃参数 · 100万上下文。这是 Owl Alpha 在 @OpenRouter 背后的完整模型…
Meituan 推出 LongCat-2.0，一个拥有 1.6万亿参数的 MoE 模型，约480亿活跃参数，支持100万上下文。该模型采用了 LongCat Sparse Attention 和 Zero-Compute Experts 等新颖架构，在编码和推理任务的基准测试中取得了优异成绩。
MiniMaxAI/MiniMax-M3
MiniMax 发布 M3，一款原生多模态模型，拥有100万上下文和约4280亿参数，采用 MiniMax Sparse Attention (MSA) 实现高效长上下文处理，达到前沿级别的编码和智能体性能。