论文页面 - 基于可执行计划与自蒸馏Transfusion的空间音频生成与编辑

来源：https://huggingface.co/papers/2610.34415

摘要

AMBIT是一个统一框架，通过将自回归场景规划与rectified-flow渲染相结合，生成和编辑一阶Ambisonics音频，并利用专用的连续VAE和on-policy自蒸馏来保持空间结构和声学保真度。

空间音频创作需要将声源决策与声场合成进行协调。在编辑任务中，计划指定需要更改和保留的内容，而参考音频则提供进一步的声学细节。我们提出了AMBIT，这是一个用于原生一阶Ambisonics（FOA）(https://huggingface.co/papers?q=First-Order%20Ambisonics%20(FOA))生成和编辑的统一框架，包含三个相互关联的贡献。第一，一个共享的Transfusion (https://huggingface.co/papers?q=Transfusion)主干网络通过可执行的ScenePlans (https://huggingface.co/papers?q=ScenePlans)将自回归规划 (https://huggingface.co/papers?q=autoregressive%20planning)与rectified-flow渲染 (https://huggingface.co/papers?q=rectified-flow%20rendering)耦合在一起，这些场景计划指定了声源内容、活动状态和3D轨迹。在编辑任务中，计划描述完整的目标场景（包括保留的声源）；对比特征 (https://huggingface.co/papers?q=contrastive%20features)用于锚定请求的更改，而完整的参考隐变量 (https://huggingface.co/papers?q=reference%20latents)则提供用于保留的残余声学细节。第二，一个FOA感知的连续VAE (https://huggingface.co/papers?q=continuous%20VAE)结合了共享解码器的全向恢复、非对称分组KL (https://huggingface.co/papers?q=grouped%20KL)以及空间协方差匹配 (https://huggingface.co/papers?q=spatial%20covariance%20matching)，以保持内容和通道间结构。第三，联合Transfusion (https://huggingface.co/papers?q=Transfusion)的on-policy自蒸馏（OPSD）(https://huggingface.co/papers?q=on-policy%20self-distillation%20(OPSD))在学生生成的前缀上细化规划，并在学生计划所达到的采样状态上进行渲染，目标条件教师 (https://huggingface.co/papers?q=target-conditioned%20teachers)对共享学生的两种模式均进行监督。在语音、音乐和音效方面的评估表明，与所比较的基线方法相比，在生成内容和空间质量、指令引导编辑中的声学保真度以及未编辑声源的保留方面均有提升。项目主页：https://wjm-george.github.io/AMBIT/

查看 arXiv 页面 查看 PDF 项目主页 GitHub 添加到收藏集

引用此论文的模型 0

无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.34415 即可从此页面链接。

引用此论文的数据集 0

无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.34415 即可从此页面链接。

引用此论文的 Spaces 0

无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.34415 即可从此页面链接。

包含此论文的收藏集 0

无收藏集包含此论文

将此论文添加到收藏集即可从此页面链接。