Looped World Models

Hugging Face Daily Papers 论文

摘要

Looped World Models 通过共享的Transformer块引入迭代潜在状态细化,实现了100倍的参数效率,同时根据预测复杂度自适应调整计算深度。

当前的世界模型面临一个基本矛盾:忠实的长程模拟需要深度计算,但更深的模型部署成本高且容易产生累积误差。我们通过引入Looped World Models(LoopWM)来解决这一问题,这是首个用于世界建模的循环架构。我们的方法通过参数共享的Transformer块迭代地细化潜在环境状态。相对于传统方法,这实现了高达100倍的参数效率,并采用自适应计算,自动调整深度以匹配每个预测步骤的复杂度。与扩展模型大小和训练数据正交,LoopWM将迭代潜在深度确立为世界模拟的一个新的缩放轴,这可能极大地推动社区的发展。
查看原文
查看缓存全文

缓存时间: 2026/06/17 03:35

论文页面 - Looped World Models

来源:https://huggingface.co/papers/2606.18208 发布于 6月16日

·

由 https://huggingface.co/hongyyyyy 提交

lu (https://huggingface.co/hongyyyyy) 于 6月17日

作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

Looped World Models 通过共享的 Transformer 模块引入迭代式潜在状态精炼,实现了 100 倍的参数效率,同时自适应调整计算深度以适应预测步骤的复杂度。

当前的 world models (https://huggingface.co/papers?q=world%20models) 面临一个根本性矛盾:要忠实地进行长时域仿真需要深度计算,但更深的模型部署成本高且容易产生累积误差。我们通过引入 LoopedWorld Models (https://huggingface.co/papers?q=World%20Models)(LoopWM)解决了这一问题,这是首个用于世界建模的循环架构 (https://huggingface.co/papers?q=looped%20architectures)。我们的方法通过一个参数共享的 Transformer 模块 (https://huggingface.co/papers?q=parameter-shared%20transformer%20block) 迭代地精炼潜在环境状态 (https://huggingface.co/papers?q=latent%20environment%20states)。这带来了相比传统方法高达 100 倍的参数效率,并具备自适应计算 (https://huggingface.co/papers?q=adaptive%20computation) 能力,能够根据每个预测步骤的复杂度自动缩放深度。与缩放模型大小和训练数据相互正交,LoopWM 为世界模拟建立了一个新的缩放轴——迭代潜在深度,这可能极大地推动社区向前发展。

查看 arXiv 页面 (https://arxiv.org/abs/2606.18208) 查看 PDF (https://arxiv.org/pdf/2606.18208) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.18208)

在你的智能体中获取这篇论文:

hf papers read 2606\.18208

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2606.18208 即可从此页面链接。

引用本文的数据集0

没有数据集链接到这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2606.18208 即可从此页面链接。

引用本文的 Spaces0

没有 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2606.18208 即可从此页面链接。

包含本文的收藏集0

没有收藏集包含这篇论文

将这篇论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。

相似文章

DeepLoop:循环Transformer的深度缩放

arXiv cs.LG

DeepLoop为循环Transformer引入了一种残差缩放方法,该方法根据参数访问进行调整,从而在物理块跨多轮重用时提高稳定性和性能。

什么是 Looped Transformers?清晰解释(8分钟阅读)

TLDR AI

Looped transformers 在多次传递中重复使用相同的层,以参数数量换取计算量,用更少的权重实现更好的推理。文章追溯了这一想法到 Universal Transformer (2018),并解释了其最初因扩展定律和时机而失败的原因。

World Machine:面向时间序列的生成式世界建模

arXiv cs.LG

World Machine 提出了一种基于 Transformer 的生成式世界建模架构,用于时间序列分析。该架构通过潜在状态自适应地处理不同长度的上下文,解决了传统 Transformer 的二次内存成本问题。在合成数据集上的实验验证了该方法的可行性,并显示出相比传统 Transformer 的改进。