@TheTuringPost: 来自@ylecun、@randall_balestr及其同事的一篇新论文，扩展了LeJEPA——这次应用于视频。LeVJEPA的目标是m…

@ylecun、@randall_balestr 及其团队发布了一篇新论文，将LeJEPA框架扩展至视频领域。

LeVJEPA的核心目标是让视频训练过程变得更加经济高效。

为实现这一目标，该模型仅采用单一编码器配合轻量级投影器。训练完成后投影器即被舍弃 ↓

LeVJEPA的工作机制如下：

1. 模型接收相同的16帧视频片段，并生成多种变体版本：一个完整视角配合多个裁剪/增强视角。所有版本均由同一编码器处理。

2. 随后模型同步学习两项任务：

• 识别同一视频的不同视角并保持其表征一致性。
• 避免对所有内容生成相同表征。LeJEPA采用的SIGReg正则化方法能防止表征坍缩，保持多样性。

这两项设计选择同样提升了LeVJEPA的效率：

→ 训练过程中仅处理5%的视频块，随机丢弃其余95%以降低计算负荷。

→ 注意力机制具备时间因果性：每帧仅参考当前帧及前序帧，模型能随新帧输入持续更新表征。

这一特性对流式视频与世界模型尤为重要——这类系统需持续运行，并随着新观测数据的输入不断更新其“理解能力“。

基于上述优化，LeVJEPA在匹配训练周期的前提下，以5.6–20.8倍的计算效率提升，达到了与V-JEPA 2相当甚至更优的性能。