audio-visual-generation

SyncReward 提出了一套面向音视频生成的人体对齐同步奖励框架，包括 80K 专业同步评分数据集 SyncReward-Data-80K、1K 挑战基准 SyncReward-Bench，以及通过语义-时间对比预训练与人类监督训练的奖励模型，可作为评估指标并用于推理时 best-of-N 选择和强化学习后训练以提升音视频同步质量。

这篇综述论文将联合音视频生成、跨模态生成与耦合编辑统一到一个基于音视频对分布的表述框架中，并提出包含五个设计轴与九个编辑类别、涵盖28种编辑类型的分类体系。

JoyAI-Echo是一个开源的GitHub仓库，提供长期音视频生成和全模态世界模型，用于创建持久故事和交互式世界。

本文介绍了JoyAI-Echo-1.5，这是一个统一的音视频生成系统，适用于长视频和交互式世界，使用跨镜头记忆和几何感知控制来保持连贯性和持久性。

EchoWM 介绍了一种开放的全模态世界模型，能够生成同步的视频、声音、音乐和语音，并支持连续的6自由度导航，用于可进入的生成媒体。

LongAV-Compass是一个综合基准，用于评估分钟级音视频生成在文本、图像和视频条件模态下的表现，衡量长时间序列上的质量、一致性和对齐程度。