论文页面 - Kandinsky 6.0 Video：面向同步视频与音频生成的基础模型

来源：https://huggingface.co/papers/2610.05608 发布于 10 月 4 日

#2 当日论文 (https://huggingface.co/papers/date/2026-10-06) 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

我们提出 Kandinsky 6.0 Video，这是一系列面向同步「文本转音频视频」（text-to-audio-video）生成的基础扩散模型，包含 Kandinsky 6.0 Video Lite（30 亿参数）与 Kandinsky 6.0 Video Pro（290 亿参数）。两个模型均可生成 5 秒视频片段，并同步生成 44 kHz 音频，涵盖口型对齐，在文本转音频视频（T2AV）与图像转音频视频（I2AV）两种模式下皆可使用；内置的超分辨率模型可将输出分辨率提升至 Full-HD（1920×1080）。在 Kandinsky 5.0 视频生成能力的基础上，Kandinsky 6.0 Video 采用双流 CrossDiT 架构，通过双向交叉注意力将预训练的视频流与新训练的音频流相连，以实现时间与语义上的对齐。我们的持续预训练策略首先在大规模音频语料上从零训练音频流，随后在保留单模态保真度的前提下，利用成对的音视频数据对两个流进行联合训练；预训练之后依次进行监督微调、基于强化学习的后训练以及蒸馏。在并排（side-by-side）人工评测中，Kandinsky 6.0 Video Pro 明显优于其前身 Kandinsky 5.0 Video Pro，并且与领先的音视频生成模型相比仍具竞争力，尤其在语音质量方面表现突出。为了加速多媒体生成领域的开放研究与落地部署，我们在 MIT 许可下开源了代码、模型权重以及 diffusers 集成。

查看 arXiv 页面 (https://arxiv.org/abs/2610.05608)　查看 PDF (https://arxiv.org/pdf/2610.05608)　项目主页 (https://kandinskylab.ai/)　加入收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.05608)

引用此论文的模型0

没有模型与此论文关联。

在模型的 README.md 中引用 arxiv.org/abs/2610.05608，即可从本页面链接到该模型。

引用此论文的数据集0

没有数据集与此论文关联。

在数据集的 README.md 中引用 arxiv.org/abs/2610.05608，即可从本页面链接到该数据集。

引用此论文的 Space0

没有 Space 与此论文关联。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.05608，即可从本页面链接到该 Space。

收录此论文的合集0

没有合集收录此论文。

将本论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到它。