论文页面 - DSReg：可证明地在无需重建的情况下恢复个体世界潜在变量

来源：https://huggingface.co/papers/2610.09457

摘要

恢复世界中个体潜在变量的方法——从非线性 ICA 到字典学习以及因果表示学习——都通过重建、辅助监督或分布不对称性（如非高斯性）将潜在变量锚定到观测上。没有这些锚定的方法，包括联合嵌入预测架构（JEPA），只能将潜在状态识别到线性变换的程度，因此各个潜在变量仍然处于混合状态。我们弥合了这一差距：可以证明，在无需重建、无需解码器、无需标签的情况下，个体世界潜在变量可以被恢复。关键条件是结构多样性（Structural Diversity）：不同的潜在变量在观测上留下独特的依赖特征，就像没有两片雪花完全相同一样。基于 LeJEPA 提供的线性可识别性，我们证明在结构多样性条件下，DSReg（依赖稀疏性正则化，Dependency-Sparsity Regularization）可以在无需重建或解码器的情况下，将个体世界潜在变量恢复到符号置换的程度。它可以事后应用于任何线性识别的表示，重用已训练的检查点而不损失联合训练的性能，并建立了第一个能够恢复每个世界潜在变量的完全可识别的 JEPA。此外，作为对依赖特征的条件，结构多样性严格弱于以往所有可识别潜在变量模型的结构条件。在合成场景、世界模型探针、学习到的视觉编码器和外部渲染器等多个设置中，DSReg 在保持密集预测能力的同时，随着规模增大改善了个体潜在变量的恢复及下游使用效果。

查看 arXiv 页面 (https://arxiv.org/abs/2610.09457)　查看 PDF (https://arxiv.org/pdf/2610.09457)　项目页面 (https://dsreg.github.io/)　GitHub 0 (https://github.com/kunwuz/dsreg)　添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.09457)

在你的 agent 中获取此论文：

hf papers read 2610.09457

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.09457 即可从此页面链接它。

引用此论文的数据集 0

没有数据集关联此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.09457 即可从此页面链接它。

引用此论文的 Spaces 0

没有 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.09457 即可从此页面链接它。

包含此论文的收藏夹 0

没有收藏夹包含此论文。

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 即可从此页面链接它。