标签
Wizard 提出一种游戏世界模型,通过解耦角色动画、场景操控与游戏逻辑,实现对未见过角色的关节级动作与实时交互控制,支持每秒 24 帧的交互,并对新场景、角色和动作具备零样本泛化能力。
StreamingSwap 是一个用于视频人脸替换的实时 flow-matching 框架,通过联合 Rec-ID 损失和高效上下文生成(Face-RoI + 短上下文展开),在 RTX 4090 上对长达 10 分钟的视频实现 20 FPS 的实时处理,并发布了包含 1,000 小时电影级数据的 HumanFaceVid 数据集。
Vivix Labs 发布实时交互式视频模型 W1,定价仅 $0.003/秒,价格约为 Seedance 2.5 单条片段的八十分之一,有望让实时交互视频成为常态。
Odyssey 3 是一个基础世界模型,能从提示生成交互式环境并实时预测其变化,其 Pro 版本在 Physics-IQ 视频到视频基准上取得最高分(66.1),还可用于控制机器人手臂、人形机器人、驾驶车辆及训练智能体。
WorldSonus 是一个交互式视频转音频框架,通过流式因果自回归扩散架构为世界模型带来实时空间声音合成,实时因子(RTF)为 0.41,支持基于分块索引的提示调度以实现流中声音控制,并采用立体声监督来实现空间对齐。
The tweet discusses the potential of AI to generate real-time games like Gal Games, drawing parallels to technological revolutions in media from painting to AI.
Meta AI 推出了 Muse Realtime Avatar,这是一项尖端的化身技术,使用流式 Diffusion Transformer 实时将语音转化为同步、富有表现力的化身。
PixVerse R2 是一个实时世界模型,能够生成不断演进的视听世界,接受文本、图像、音频和动作,并具有会话记忆,以实现交互式和可控的体验。
Jev 能够实时生成游戏关卡,提供更快且更便宜的结构化输出,这可能对游戏开发产生重大影响。
一个可玩的演示使用了GPT-Live-1 API,通过语音命令实现游戏中的实时世界生成,展示了新型交互媒体。
Gemini 3.7 Flash 展示了根据用户输入实时生成交互式网站的能力,展示了其在AI驱动的网络开发中的速度和能力。
LingBot-World 2.0 是一个开源AI模型,能够生成持久、实时的游戏世界,分辨率720p,帧率60fps,运行超过60分钟无视觉退化。该模型采用14B参数模型,并附带1.3B轻量版,支持单GPU部署。
LingBot-World 2.0 (Infinity) 刚刚开源,支持小时级实时生成,长时间运行画质不衰减,稳定输出720p/60fps,是机器人学会预判世界的关键一步。
名为Reelquest的新演示利用Seedance 2.0和GPT Image 2创建了一个完全交互式、可玩的游戏,其中每一帧都根据用户操作由AI生成,无需编码或游戏引擎。
CausalCine 是一个新的学术框架,用于实时交互式多镜头视频生成,它利用因果建模和动态内存路由技术,提高了自回归模型在镜头间的一致性。
Overworld发布Waypoint-1.5,一款面向日常GPU的实时视频世界模型,具备改进的视觉保真度,并新增360p和720p档位以支持更广泛的硬件设备。
Google DeepMind 发布 Genie 4,这是其迄今最真实、最可交互的世界模型,基于 Gemini 构建,支持实时交互、键盘导航与自然语言控制场景,正向可信测试者和 AI Ultra 用户推出研究预览。