Hy-Nomas:迈向自由形式的交互式世界生成
摘要
Hy-Nomas是一个8B参数的视频世界模型,通过action-aware因果注意力与结构化字幕,支持多轮自由文本指令和连续相机控制的交互式世界生成,并开源了模型权重、代码与基准。
查看缓存全文
缓存时间: 2026/10/28 05:28
论文页面 - Hy-Nomas:迈向自由形式的交互式世界生成
来源:https://huggingface.co/papers/2610.36729 发布于 10月27日
#2 每日最佳论文 (https://huggingface.co/papers/date/2026-10-28) 作者:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
Hy-Nomas 是一个视频世界模型,使用因果注意力和结构化字幕,在保留交互历史的同时,遵循多轮文本和相机指令。
交互式世界生成 (https://huggingface.co/papers?q=Interactive%20world%20generation) 要求模型在保留相关历史和动作后果的同时,连续执行多条指令。我们提出 Hy-Nomas,一个拥有 8B 扩散骨干 (https://huggingface.co/papers?q=diffusion%20backbone) 的视频世界模型 (https://huggingface.co/papers?q=video%20world%20model),支持自由形式的文本指令和跨多个交互回合的连续相机控制。它根据当前输入和缓存的历史信息生成长度可变的片段。我们的核心设计将结构化视频字幕与动作感知因果注意力 (https://huggingface.co/papers?q=action-aware%20causal%20attention) 对齐:描述性上下文在各片段之间保持可访问,而动作指令则被限制在其目标时间窗口内。一个视觉语言提示增强器 (PE) (https://huggingface.co/papers?q=vision-language%20Prompt%20Enhancer) 将用户请求和多模态交互历史转化为下一片段的结构化条件。一个多阶段课程 (https://huggingface.co/papers?q=multi-stage%20curriculum) 逐步引入因果生成、文本交互、相机控制,以及基于模型生成历史的训练,最后进行扩散蒸馏 (https://huggingface.co/papers?q=diffusion%20distillation)。在人工评估中,Hy-Nomas 优于现有世界模型。我们发布模型权重、代码和基准测试,并提供轻量级适配工作流,以支持交互式世界生成 (https://huggingface.co/papers?q=interactive%20world%20generation) 的可复现研究。
查看 arXiv 页面 (https://arxiv.org/abs/2610.36729) 查看 PDF (https://arxiv.org/pdf/2610.36729) 项目页面 (https://hy-nomas.hy.tencent.com/) GitHub 274 (https://github.com/Tencent-Hunyuan/Hy-Nomas) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.36729)
在您的 agent 中获取本文:
hf papers read 2610.36729
没有最新的 CLI? curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 0
暂无模型链接本文。
在模型 README.md 中引用 arxiv.org/abs/2610.36729 即可从此页面链接。
引用本文的数据集 0
暂无数据集链接本文。
在数据集 README.md 中引用 arxiv.org/abs/2610.36729 即可从此页面链接。
引用本文的 Space 0
暂无 Space 链接本文。
在 Space README.md 中引用 arxiv.org/abs/2610.36729 即可从此页面链接。
收录本文的合集 2
相似文章
HY-World 2.0:用于重建、生成和模拟三维世界的多模态世界模型
HY-World 2.0 是一个多模态世界模型框架,通过全景生成、轨迹规划和场景组合等专用模块,从文本、图像和视频中生成高保真度的三维高斯泼溅场景,在开源方法中实现了最先进的性能。
tencent/HY-World-2.0
HY-World 2.0 是腾讯开源的跨模态3D世界模型,能够从文本、图像和视频中重建和生成3D世界,生成可编辑的3D资产(网格/高斯泼溅),效果与闭源方法相当。
Meet Helix World: A Real-Time Audio-Visual World Model (13 minute read)
Noiz AI 与香港科技大学联合发布 Helix World,一个基于单张图像的实时交互式视听世界模型,可在单块 NVIDIA H800 GPU 上以 24fps 同时生成可探索的视频场景与空间立体声,代码、checkpoint 和在线 demo 均已开源。
@hynomas:感谢 @_akhaliq 为我们的 Hy-Nomas 交互式视频世界模型搭建了 HuggingFace 演示空间。https://…
腾讯的 Hy-Nomas 交互式视频世界模型现已在 HuggingFace 上线演示空间,同时腾讯官方账号还运行了一个使用 ZeroGPU 推理的副本,供公众体验。
WorldStream:通过分层规划与持久化状态流式生成交互式三维世界
WorldStream是一个开放式的3D世界模型,通过分层规划与流式编译实现地形无限扩展、处理开放语言指令并持久保存用户编辑。宏/微规划器在有类型的决策模型上生成结构化决策状态,并通过全局记录维护可复现的世界状态与状态化NPC。