论文页面 - 使用演化评分规则作为音频推理奖励的强化学习

来源: https://huggingface.co/papers/2608.02831 发布于 8月3日

· 提交者 https://huggingface.co/ParadiseYu

Fangxu (https://huggingface.co/ParadiseYu) 于 8月10日

摘要

音频推理对于机器理解声学世界至关重要。使用可验证奖励的强化学习能够激发这种推理，然而现有的奖励设计在局限性上是互补的：基于结果的奖励仅监督最终答案，使模型在不关注音频的情况下得出答案；而基于过程的奖励对推理本身进行评分，但依赖粗糙、手工设计且固定的标准，这些标准既不能适应每个问题，也无法始终扎根于声学证据。此外，问题对推理的要求各不相同，有些依赖于感知，有些依赖于多步推理，而任何静态标准都会随着策略的提升而变得薄弱。因此，用细粒度、基于音频且自适应的奖励来监督推理过程至关重要，但这也具有挑战性，因为为每个样本手工设计这样的奖励是不切实际的。为此，我们提出了AudioRubrics，一个使用自我演化、基于音频的评分规则奖励来监督音频推理的强化学习框架。AudioRubrics从原始波形中合成每个样本的评分规则，并根据模型自身的生成轨迹按组重新生成和重新加权标准，提供连续的学习信号，在静态标准饱和时持续针对当前策略的弱点。对三个音频推理基准的全面评估表明，AudioRubrics 大幅优于多种开源和基于训练的基线。此外，我们的分析显示，收益随评分规则生成器和评判器的能力而扩展，并且AudioRubrics收敛到稳定的推理长度，避免了退化崩溃和无界增长。音频感知的提升进一步证明了将监督锚定在声学证据上的有效性。我们的项目页面可在 https://audiorubrics.github.io/ 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2608.02831) 查看 PDF (https://arxiv.org/pdf/2608.02831) 项目页面 (https://audiorubrics.github.io/) GitHub (https://github.com/tianyi-lab/AudioRubrics) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.02831)

在您的 agent 中获取此论文：

hf papers read 2608\.02831

还没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 1

umd-zhou-lab/AudioRubrics Audio-Text-to-Text • 12B • 更新于5天前 • 18 (https://huggingface.co/umd-zhou-lab/AudioRubrics)

引用此论文的数据集 1

umd-zhou-lab/AVQA-Audio-Rubrics Viewer • 更新于约4小时前 • 40.4k • 89 (https://huggingface.co/datasets/umd-zhou-lab/AVQA-Audio-Rubrics)

引用此论文的 Spaces 1

包含此论文的收藏 0

没有包含此论文的收藏

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接它。