@kyutai_labs：许多世界模型借用文本到视频生成器的视频自编码器，随之而来的是每一次操作都有明显的延迟……

许多世界模型直接沿用了文生视频生成器的视频自编码器，导致每次动作都有明显的延迟。

今天，我们发布 CADRE——开放的因果扩散表征自编码器（open CAusal Diffusion REpresentation autoencoders），让实时世界模型在单块 GPU 上实现快速响应 🧵

为什么会有延迟？为了在低成本下达到高帧率，视频自编码器会把多帧打包进同一个潜在表示（latent）。因此，一个 latent 必须等所有相关动作输入后才能生成。

打包的帧数越多，延迟就越明显！

我们构建了 7 个具有不同时空压缩率的 CADRE 模型，研究压缩策略如何影响交互式世界模型的表现。

编码器基于我们 Rocket League 世界模型 MIRA 的方案（冻结的 DINOv3 + 压缩层）。解码器采用因果扩散训练，并通过自蒸馏压缩至单步推理。

我们在多种任务上训练了相同的世界模型方案：机器人与人类操作、驾驶和室内导航。

与 Wan 2.2、Cosmos、LTX-2、DC-AE 和 MIRA 的自编码器相比，CADRE 在延迟-质量前沿面上占据了大部分位置。

发现 1：强压缩 latent 从扩散解码器中获益，而且解码器可以很快。

像 MIRA 那样的回归解码器会把一个 latent 可能对应的所有视频模糊成一团，而扩散解码器则从中选出一个清晰的视频。通过自蒸馏为单步流匹配（flow matching），我们的解码器保持了高效。

发现 2：时间维度的压缩最好在自编码器中完成，而不是在世界模型中。

在世界模型内部对帧分组会同时降低图像质量和运动质量，而且帧数分组越多，差距越大。当分组帧数达到 8 帧时，动作跟随能力也明显下降。

发现 3：操作任务和导航任务需要正交的压缩策略。

在操作任务中，相机几乎不动，因此在时间维度上打包连续帧代价很小。而在导航任务中，整个视野都在变化：应让帧在时间上保持分离、在空间上进行压缩，这样也能保持低延迟。

发现 4：在操作任务中，更粗粒度的 token 几乎不影响画面质量，但会损害运动质量和动作跟随能力。

像 FID 那样逐帧评估生成轨迹，会掩盖大部分实际出现的问题。

我们还研究了这些世界模型仅从视频和动作中学到了哪些世界属性？

布料在没有被抓住的地方自然下垂、毛巾被折叠、其他车辆自行行驶、以及我们刻意驶离的、没有任何录制驾驶员经过的道路。

我们开源了多个成果：训练与推理代码、模型，以及一个可以用键盘操控世界模型的演示 👇

论文：https://arxiv.org/abs/2610.30129 博客、代码与演示：https://kyutai.org/blog/2026-10-22-cadre…

作者：@RamaAdrien @YutongBAI1002 @nico_dufour @ptrkprz @david_picard