论文页面 - WorldSonus：为世界模型赋予声音

来源：https://huggingface.co/papers/2610.08760 发布于 10 月 6 日

·

提交者 https://huggingface.co/Zeyue7

Zeyue (https://huggingface.co/Zeyue7) 于 10 月 8 日

作者：

,

,

,

,

,

,

,

,

,

,

摘要

近年来世界模型的发展使得视觉合成愈发逼真。然而，这些生成的环境在很大程度上仍然是无声的。为世界模型赋予声音面临三大核心挑战：实时生成以跟上交互式视频流的节奏、交互式控制以响应流中的声音指令、以及空间对齐的立体声以反映场景几何和相机运动。为应对这些需求，我们提出了 WorldSonus——一个专为世界模型中的实时空间声音合成而设计的交互式视频转音频框架。在实时生成方面，WorldSonus 采用流式因果自回归扩散架构，以低至 0.41 的实时系数（RTF）合成音频块。在交互式控制方面，我们引入了以音频为核心的描述生成管线，并结合块索引提示调度，从而在生成过程中动态操控声音事件。在空间对齐方面，我们利用从多种立体声和全景声数据中精心整理的高质量立体声监督。大量实验表明，尽管 WorldSonus 是为世界模型量身定制的，但它能有效泛化到开放域视频转音频基准测试，在声学质量和空间对齐方面均达到或超越了最先进的双向模型。项目主页：https://noizai.github.io/WorldSonus/

查看 arXiv 页面 (https://arxiv.org/abs/2610.08760)　查看 PDF (https://arxiv.org/pdf/2610.08760)　项目主页 (https://noizai.github.io/WorldSonus/)　GitHub 仓库 (https://github.com/NoizAI/WorldSonus)　加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.08760)

在你的代理中获取此论文：

hf papers read 2610.08760

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文。

在模型的 README.md 中引用 arxiv.org/abs/2610.08760 即可从此页面链接。

引用此论文的数据集 0

没有数据集关联此论文。

在数据集的 README.md 中引用 arxiv.org/abs/2610.08760 即可从此页面链接。

引用此论文的 Spaces 1

包含此论文的合集 0

没有合集包含此论文。

将此论文加入合集 (https://huggingface.co/new-collection) 即可从此页面链接。