AlayaWorld 是一个全栈、开源的视频世界模型,支持720p、24帧/秒的流式视频生成,并具备相机控制功能。
摘要
AlayaWorld 是一个全栈、开源的视频世界模型,能够生成720p、24帧/秒的流式视频,支持相机控制,实现动态场景创建。
暂无内容
相似文章
AlayaWorld: 交互式长视界世界建模 -- 完整技术报告
AlayaWorld是一个150亿参数的交互式视频世界模型,可生成24帧/秒的540p和720p视频,采用自回归潜变量块生成、受限视觉上下文以及蒸馏技术来减少推理步骤。它在长视界生成基准iWorld-Bench上达到了最先进的性能。
AlayaWorld:长跨度可交互视频世界生成
AlayaWorld 是一个用于构建可交互生成世界的开源框架,支持实时用户交互和多样化动作。该框架统一了从数据准备到部署的完整开发流程。
AlayaVista:从全景状态到透视视频的流式世界建模
AlayaVista 是一种可控摄像头的流式视频世界模型,它将全景场景演化与透视视频合成解耦,并通过大规模的 MUGEN 数据集支持高保真交互式世界建模。
以游戏速度运行的生成式世界渲染器
本文介绍了 AlayaRenderer-Flash,这是一种实时生成式世界渲染器,通过使用少步自回归流式模型和轻量级蒸馏编解码器,将渲染速度从 0.56 FPS 提升到 31.54 FPS,实现了与物理引擎的交互式游玩。
@FinanceYF5: World Labs 发布了 Atlas:这是全球首个多模态世界模型,能够生成图像和视频…
World Labs 发布了 Atlas,这是全球首个多模态世界模型,能够生成具有像素级摄像头控制的图像和视频,并将其重建为 3D,实现世界建模和时空模拟。