论文页面 - SyncReward：面向音视频生成的人类对齐同步奖励

来源：https://huggingface.co/papers/2610.16338

摘要

近年来，联合音频-视觉生成取得了快速进展。然而，音视频同步仍是一项挑战，因为生成的语音和声音常常在时间上与视觉事件不匹配。一个关键瓶颈在于，针对生成的音视频输出，缺乏人工标注数据、可靠的评估基准以及具备同步感知能力的评估模型。为解决这些局限，我们开展了一项涵盖数据、基准构建和奖励建模的综合研究。我们首先引入 SyncReward-Data-80K，这是一个包含 8 万条专业同步评分的数据集，评分对象来自八个音视频生成器的片段。一个基于分类体系的构建流程涵盖四类声音事件：语音（Speech）、起音（Onset）、乐器（Instrument）和环境声（Ambient）。我们进一步构建了 SyncReward- Bench，这是一个包含 1000 个片段的留出基准，每个片段均由多名专业人士独立评分。利用该基准，我们系统地评估了专用同步指标和全模态模型，揭示出这些方法与人类判断之间存在显著偏差。最后，我们开发了 SyncReward，这是一个奖励模型，结合了在真实片段上进行的语义-时间对比预训练以及在生成片段上的人类监督。作为评估指标，SyncReward 在所评估的方法中与人类评分的一致性最高。作为奖励，它通过推理时的 best-of-N 选择以及基于强化学习的后训练来提升同步效果。我们将发布数据、基准、模型和代码，地址为 https://github.com/WeChatCV/SyncReward。

查看 arXiv 页面 (https://arxiv.org/abs/2610.16338) · 查看 PDF (https://arxiv.org/pdf/2610.16338) · GitHub (https://github.com/WeChatCV/SyncReward) · 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.16338)

在你的 agent 中获取本文：

hf papers read 2610.16338

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联到本文

在模型的 README.md 中引用 arxiv.org/abs/2610.16338，即可从本页面链接到该模型。

引用本文的数据集 0

暂无数据集关联到本文

在数据集的 README.md 中引用 arxiv.org/abs/2610.16338，即可从本页面链接到该数据集。

引用本文的 Spaces 0

暂无 Space 关联到本文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.16338，即可从本页面链接到该 Space。

收录本文的收藏集 0

暂无收藏集收录本文

将本文添加到收藏集 (https://huggingface.co/new-collection)，即可从本页面链接到该收藏集。