Hy-Nomas:迈向自由形式的交互式世界生成

Hugging Face Daily Papers 论文

摘要

Hy-Nomas是一个8B参数的视频世界模型,通过action-aware因果注意力与结构化字幕,支持多轮自由文本指令和连续相机控制的交互式世界生成,并开源了模型权重、代码与基准。

交互式世界生成要求模型在执行连续指令的同时,保留相关的历史信息与动作后果。我们提出Hy-Nomas,这是一个采用8B扩散骨干网络的视频世界模型,支持在多轮交互中使用自由形式的文本指令和连续相机控制。它能够根据当前输入和缓存的历史信息生成可变长度的片段。我们的核心设计将结构化视频字幕与action-aware因果注意力对齐:描述性上下文在整个片段中保持可访问,而动作指令则被限制在其对应的时间窗口内。视觉语言Prompt Enhancer(PE)将用户请求和多态交互历史转换为下一片段的结构化条件。多阶段课程训练逐步引入因果生成、文本交互、相机控制以及基于模型生成历史的训练,随后进行扩散蒸馏。在人类评估中,Hy-Nomas相比现有世界模型表现出更优的性能。我们开源了模型权重、代码和基准,并附带轻量级适配流程,以支持交互式世界生成的可复现研究。
查看原文
查看缓存全文

缓存时间: 2026/10/28 05:28

论文页面 - Hy-Nomas:迈向自由形式的交互式世界生成

来源:https://huggingface.co/papers/2610.36729 发布于 10月27日

#2 每日最佳论文 (https://huggingface.co/papers/date/2026-10-28) 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

Hy-Nomas 是一个视频世界模型,使用因果注意力和结构化字幕,在保留交互历史的同时,遵循多轮文本和相机指令。

交互式世界生成 (https://huggingface.co/papers?q=Interactive%20world%20generation) 要求模型在保留相关历史和动作后果的同时,连续执行多条指令。我们提出 Hy-Nomas,一个拥有 8B 扩散骨干 (https://huggingface.co/papers?q=diffusion%20backbone) 的视频世界模型 (https://huggingface.co/papers?q=video%20world%20model),支持自由形式的文本指令和跨多个交互回合的连续相机控制。它根据当前输入和缓存的历史信息生成长度可变的片段。我们的核心设计将结构化视频字幕与动作感知因果注意力 (https://huggingface.co/papers?q=action-aware%20causal%20attention) 对齐:描述性上下文在各片段之间保持可访问,而动作指令则被限制在其目标时间窗口内。一个视觉语言提示增强器 (PE) (https://huggingface.co/papers?q=vision-language%20Prompt%20Enhancer) 将用户请求和多模态交互历史转化为下一片段的结构化条件。一个多阶段课程 (https://huggingface.co/papers?q=multi-stage%20curriculum) 逐步引入因果生成、文本交互、相机控制,以及基于模型生成历史的训练,最后进行扩散蒸馏 (https://huggingface.co/papers?q=diffusion%20distillation)。在人工评估中,Hy-Nomas 优于现有世界模型。我们发布模型权重、代码和基准测试,并提供轻量级适配工作流,以支持交互式世界生成 (https://huggingface.co/papers?q=interactive%20world%20generation) 的可复现研究。

查看 arXiv 页面 (https://arxiv.org/abs/2610.36729) 查看 PDF (https://arxiv.org/pdf/2610.36729) 项目页面 (https://hy-nomas.hy.tencent.com/) GitHub 274 (https://github.com/Tencent-Hunyuan/Hy-Nomas) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.36729)

在您的 agent 中获取本文:

hf papers read 2610.36729

没有最新的 CLI? curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型链接本文。

在模型 README.md 中引用 arxiv.org/abs/2610.36729 即可从此页面链接。

引用本文的数据集 0

暂无数据集链接本文。

在数据集 README.md 中引用 arxiv.org/abs/2610.36729 即可从此页面链接。

引用本文的 Space 0

暂无 Space 链接本文。

在 Space README.md 中引用 arxiv.org/abs/2610.36729 即可从此页面链接。

收录本文的合集 2

相似文章

tencent/HY-World-2.0

Hugging Face Models Trending

HY-World 2.0 是腾讯开源的跨模态3D世界模型,能够从文本、图像和视频中重建和生成3D世界,生成可编辑的3D资产(网格/高斯泼溅),效果与闭源方法相当。

WorldStream:通过分层规划与持久化状态流式生成交互式三维世界

Hugging Face Daily Papers

WorldStream是一个开放式的3D世界模型,通过分层规划与流式编译实现地形无限扩展、处理开放语言指令并持久保存用户编辑。宏/微规划器在有类型的决策模型上生成结构化决策状态,并通过全局记录维护可复现的世界状态与状态化NPC。