ALPS:用于世界模型的视觉状态编码器

Hugging Face Daily Papers 论文

摘要

ALPS 是一种面向世界模型的预训练 ViT-B/16 视觉状态编码器,将物理状态预测、语言对齐和像素重建统一于单一的图像块词元表示中,其状态探针性能可媲美规模大 3.5 倍的 V-JEPA 2-L,并且在搭配其原生文本塔时,在 LIBERO 上实现了 85.5% 的平均策略成功率。

世界模型将视觉表征转化为预测和行动。我们认为,其视觉基础应结合物理状态信息、原生语言对齐和像素重建,使单一表征能够支持预测、指令理解和检查。然而,现有编码器通常仅专长于其中一到两种能力;因此,我们提出了 ALPS,这是一种预训练视觉状态编码器,可在同一组图像块词元中统一这三种能力。我们仅使用静态图像和文本,以语言、重建和空间对应为目标,从零开始预训练一个 ViT-B/16,然后通过跨视角自蒸馏对其进行优化。在涵盖十五种公开编码器的统一评估中,ALPS 在 ViT-B 模型中取得了最低的 LIBERO 状态探测综合误差(与规模为其 3.5 倍的 V-JEPA 2-L 相当),同时保持了较强的语言对齐能力和准确的像素重建能力。在下游任务中,冻结的 ALPS 词元与我们原生的文本编码塔搭配使用时,在 LIBERO 上取得了最高的策略平均成功率(85.5%);在 PushT、Wall 和 Granular 的世界模型规划任务中,达到或超越了领先编码器的表现;同时,预测的未来词元可直接解码为像素,以便进行视觉检查。我们希望这项工作有助于将视觉预训练确立为世界模型中理解、预测和行动的共同基础。
查看原文
查看缓存全文

缓存时间: 2026/10/22 15:45

论文页面 - ALPS:用于世界模型的视觉状态编码器

来源:https://huggingface.co/papers/2610.30120

摘要

ALPS 是一种预训练视觉编码器,将物理状态预测、语言对齐和像素重建融为一体,为世界模型提供共享基础。

世界模型 (https://huggingface.co/papers?q=World%20models)将视觉表征转化为预测和动作。我们认为,其视觉基础应结合物理状态信息、原生语言对齐和像素重建,使单一表征能够支持预测、指令和检查。然而,现有编码器通常仅专注于其中一到两项能力;因此,我们提出了 ALPS,这是一种预训练视觉状态编码器 (https://huggingface.co/papers?q=visual%20state%20encoder),在同一组图像块词元 (https://huggingface.co/papers?q=patch%20tokens)中统一了这三项能力。我们仅使用静态图像和文本,以语言、重建和空间对应 (https://huggingface.co/papers?q=spatial%20correspondence)为目标,从零开始预训练一个 ViT-B/16 (https://huggingface.co/papers?q=ViT-B%2F16),然后通过跨视角自蒸馏 (https://huggingface.co/papers?q=cross-view%20self-distillation)进一步优化。在对十五种公开编码器的统一评估中,ALPS 在 ViT-B 模型中实现了最低的 LIBERO (https://huggingface.co/papers?q=LIBERO)综合状态探测误差(与规模为其 3.5 倍的 V-JEPA 2-L 相当),同时保持了出色的语言对齐能力和准确的像素重建能力。在下游任务中,冻结的 ALPS 词元与我们的原生文本塔搭配使用时,在 LIBERO (https://huggingface.co/papers?q=LIBERO)上取得了最高的平均策略成功率(85.5%);在 PushT、Wall 和 Granular 的世界模型规划任务中,其表现达到或超过领先编码器;此外,预测的未来词元还可直接解码为像素,以供视觉检查。我们希望这项工作有助于确立视觉预训练作为世界模型 (https://huggingface.co/papers?q=world%20models)中理解、预测和行动的共享基础。

查看 arXiv 页面 (https://arxiv.org/abs/2610.30120)查看 PDF (https://arxiv.org/pdf/2610.30120)项目页面 (https://ucsc-vlaa.github.io/ALPS/)GitHub6 (https://github.com/UCSC-VLAA/ALPS)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.30120)

在你的智能体中获取这篇论文:

hf papers read 2610\.30120

尚未安装最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型1

UCSC-VLAA/ALPS 图像特征提取• 约 14 小时前更新 • 1 (https://huggingface.co/UCSC-VLAA/ALPS)

引用这篇论文的数据集0

没有关联这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.30120,即可从此页面链接到该数据集。

引用这篇论文的 Space0

没有关联这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.30120,即可从此页面链接到该 Space。

包含这篇论文的收藏集0

没有包含这篇论文的收藏集

将这篇论文添加到收藏集 (https://huggingface.co/new-collection),即可从此页面链接到该收藏集。

相似文章

Stateful Visual Encoders for Vision-Language Models

Hugging Face Daily Papers

本文介绍了一种用于视觉-语言模型的有状态视觉编码器,该编码器基于先前的特征来调节视觉表示,从而在多图像和智能体设置中实现更好的视觉比较。该方法在跨图像空间聚合、纵向放射学等任务上展现出一致的改进。

V-JEPA-LM:超越静态文本对齐表征、理解动态的视频语言模型

Hugging Face Daily Papers

V-JEPA-LM 推出了开放的视频语言模型,将冻结的 V-JEPA 2.1 世界模型编码器与 Qwen3/Llama 骨干网络相结合,采用反事实监督进行单阶段训练,迫使模型推理动态变化,而非依赖与文本对齐的静态特征。这些模型在 11 项视频基准测试中领跑各个规模级别,同时使用的训练数据和视觉 token 远少于 Meta 的 V-JEPA 2/2.1 视频大语言模型。

LeWorldModel:从像素出发的稳定端到端联合嵌入预测架构

Papers with Code Trending

LeWorldModel 提出了一种稳定的端到端联合嵌入预测架构(JEPA),可直接从像素进行训练,仅需极少超参数,并具有可证明的反坍塌保证。与基础模型相比,它在规划速度上实现了显著提升,同时在机器人操作任务中保持了具有竞争力的性能。