标签
WorldCast 通过 3D 点云引导与几何对齐记忆注意力(GAMA),实现大角度相机运动下角色视频生成的外观、几何与身份一致性,并提出大规模基准数据集 CLACT。
Holo4D 是一个视频重拍框架,利用重建的 3D 轨迹骨架来引导预训练的视频扩散模型进行新视角视频合成,在保留场景几何结构和运动的同时,以生成方式补全未观测区域,无需重新训练生成器。
4LC 提出一种用于动态世界建模的 4D 潜空间缓存,通过复合视觉表示(VAE、DINO、V-JEPA、VGGT)和灵活的时空访问接口,高效复用静态与动态内容作为生成条件,支持相机控制、时间控制、新视角合成与长时生成等多项视频生成任务,且无需任务特定微调。
作者使用 DeepSeek V4 Flash,在半天内逆向解析了 DJI Pocket 3 的通信协议,并开发了一款自定义 CLI 工具,用于拍摄、预览和云台控制,实现了通过电脑统一控制多台相机和 RGB 灯光。
HLA-WM 提出一种免训练的混合线性注意力框架,通过几何引导的检索与递归线性状态重组,缓解 GatedDeltaNet 在长时视频世界模型中的远距离遗忘问题。在 60 秒基准上,该方法以 12 倍内存节省同时提升了所有一致性与相机控制指标。
本文提出GEAR(几何启用的注意力路由)框架,该框架利用几何作为视觉记忆的显式令牌级地址,以增强长时序相机控制视频生成,并达到最先进的成果。
WorldCrafter是一个视频世界模型,它学习一个可相机查询的隐式3D感知记忆,用于从单张图像或文本提示进行一致且相机可控的流式场景探索。
AlayaVista 是一种可控摄像头的流式视频世界模型,它将全景场景演化与透视视频合成解耦,并通过大规模的 MUGEN 数据集支持高保真交互式世界建模。
本文介绍了 World in World,这是一个无需训练的接口,可以通过使用对应引导查询和基于证据的注意力指导,在冻结的自回归视频世界模型中实现灵活的相机和时间控制。
FlashRender是一个几步生成式渲染框架,通过对齐表示和使用均值流目标来加速视频合成,在显著降低采样成本的同时,达到与多步方法相当的质量。
Atlas by World Labs 是一款全能世界模型,支持从文本、图像、视频和3D输入生成摄像机控制的高清视频,实现场景重建与时空模拟,专为机器人设计,现已开放早期访问。
World Labs 推出 Atlas,一个能够生成、重建和模拟三维环境的多模态世界模型,并支持相机控制和空间一致性。
本文介绍了JoyAI-Echo-1.5,这是一个统一的音视频生成系统,适用于长视频和交互式世界,使用跨镜头记忆和几何感知控制来保持连贯性和持久性。
SCoPE 是 TencentARC 提出的一个模型,它将相机视线作为位置坐标添加到预训练的视频扩散 Transformer 中,从而能够在保持图像到视频先验的同时实现相机轨迹控制。该发布包含一个用于 Wan2.2-I2V-A14B 推理的自包含检查点。
TopviewAI 的 Film Studio 为 AI 视频生成提供了六种控制,包括表演指导、镜头控制和 3D 场景布局,让电影制作人能够执导镜头,而不仅仅是提示片段。
Wonder是一个通用的视频世界模型,能够从一张图像或条件视频中实现实时、可控制摄像头的世界探索。它通过密集坐标场引入摄像头条件化,采用稀疏注意力记忆机制,并改进蒸馏技术,从而支持以16 FPS生成分钟级的视频。
AlayaWorld 是一个全栈、开源的视频世界模型,能够生成720p、24帧/秒的流式视频,支持相机控制,实现动态场景创建。
介绍了ViewSuite,这是一个具有6自由度相机控制和约16.5万个任务的基准测试,用于评估VLM规划相机移动的能力。发现了一个规划差距:模型可以跟踪但无法组合计划,并提出了视图图蒸馏(RL-Graph-SFT)方法,将成功率从2.5%提升到47.8%。
Holo-World 提出了一种统一的可控视频世界模型,能够从单张图像生成视频,并显式控制相机、物体运动与天气。该工作引入了一个新颖的数据集与技术,可在将场景迁移至目标天气状态的同时保持场景结构。
DreamX-World 1.0 是一个通用的交互式文本/图像到视频世界模型,支持相机导航、场景持久化和跨多个领域的可提示事件,利用 E-PRoPE、因果强制和记忆条件场景持久化等新技术实现可控的长时程生成。