论文页面 - 用 JEPA 证明并改进柏拉图表征假说

来源: https://huggingface.co/papers/2610.39302

摘要

在对齐的多模态观测上训练的联合嵌入预测架构（Joint-embedding predictive architectures），收敛到共享表征的效率远高于下一词元预测（next-token prediction），表明正样本视图设计——而非仅仅是规模——才是驱动跨模态对齐的关键。

在不同模态上训练的模型是否会收敛到对世界相同的表征，是人工智能的核心问题。柏拉图表征假说（Platonic Representation Hypothesis，PRH）猜测随着规模扩大它们会收敛到相同表征，但在没有证明的情况下，它既不能提供保证，也不能给出可行路径。我们把该假说变成了定理。首先，我们证明了柏拉图表征定理：在任意数量的模态上分别训练的联合嵌入预测架构（Joint-Embedding Predictive Architectures，JEPAs），只要其正样本对（positive pairs）是同一场景的两次观测——即“好视图“（good views）——学到的表征就在一次旋转的意义上完全相同；否则，其不对齐程度是有界的。其次，我们证明下一词元预测（next-token prediction）本质上是一个带有“坏视图“的 JEPA，其正样本对只是同一文档的不同片段，这解释了为什么语言模型只有通过规模才能与视觉模态对齐。第三，我们从 145k 条描述到 9.4 亿张网络图像的文本上验证了该理论，并揭示了一条对齐缩放定律（scaling law of alignment），能够在种子噪声范围内预测未见的训练结果。在相同语料上，好视图达到同等对齐程度所需的训练样本比下一词元预测少 42 倍；一个 1.09 亿参数的文本 JEPA（text JEPA）与 DINOv2 和 CLIP 图像编码器的对齐程度，超过了我们评测的所有语言模型（参数量最高达 720 亿），也超过了 CLIP 的文本编码器：下一词元预测是一条通往柏拉图表征的极其低效的路径。作为展示，仅一次旋转就能把分别训练的编码器变成一个图像描述生成器（在 COCO 上 CIDEr 为 0.838）。甚至那次旋转也不需要配对数据：在最新的无配对基准上，我们的文本 JEPA 超过了参数量最高达 80 亿的所有语言模型报告的零样本准确率，例如在 ImageNet-100 上 top-5 准确率达到 64%，而其余方法最高仅为 56%。因此，正样本视图、而非单纯规模，才是构建柏拉图表征的关键杠杆。

查看 arXiv 页面 (https://arxiv.org/abs/2610.39302) ｜ 查看 PDF (https://arxiv.org/pdf/2610.39302) ｜ 项目页面 (https://github.com/galilai-group/prh-proof) ｜ GitHub (https://github.com/galilai-group/prh-proof) ｜ 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2610.39302)

在你的 agent 中获取这篇论文：

hf papers read 2610.39302

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型链接到此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.39302，即可从本页面链接到该模型。

引用此论文的数据集 0

暂无数据集链接到此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.39302，即可从本页面链接到该数据集。

引用此论文的 Space 1

包含此论文的合集 0

暂无合集包含此论文。

将此论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到该合集。