论文页面 - 大型音频语言模型综述：泛化能力、可信度与展望

来源：https://huggingface.co/papers/2605.20266 作者：

（此处省略作者列表，应保持原文格式）

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

大型音频语言模型尽管性能不断提升，但仍面临显著的可信度挑战，需要建立全面的框架来应对安全漏洞和防御策略。

由大型语言模型（Large Language Models, LLMs）建立的基础能力为多模态大型语言模型（Multimodal Large Language Models, MLLMs）铺平了道路，而大型音频语言模型（Large Audio Language Models, LALMs）则是实现通用听觉智能的关键。尽管其性能卓越，但LALMs能力的提升速度已显著快于确保其可信度的系统性框架的发展。本综述对LALMs的内在机制进行了全面研究，详细阐述了促进涌现推理的架构创新和对齐算法。具体而言，我们分析了向统一端到端框架（end-to-end frameworks）的转变以及连续声学信号（acoustic signals）的整合如何从本质上扩大了攻击面（attack surface）。为了严格评估这些范式中的风险，我们建立了一个全面的可信度分类体系，将关键漏洞分类，例如跨模态越狱（cross-modal jailbreaking）、潜在声学后门（acoustic backdoors）和生物特征隐私泄露（biometric privacy leakage）。我们通过六大分析支柱综述了最新技术：幻觉（hallucination）、鲁棒性（robustness）、安全性（safety）、隐私（privacy）、公平性（fairness）和认证（authentication）。成熟的攻击手段与不成熟的防御之间存在的深刻失衡，进一步验证了以音频为中心的智能所面临的关键可信度差距和多维风险。最后，我们提出了一项战略路线图，倡导采用“纵深防御”（Defense-in-Depth）架构、因果听觉世界建模（causal auditory world modeling）和内在表示工程（intrinsic representation engineering），以弥合经验性能与内在可信音频智能之间的鸿沟。我们的项目已上传至 GitHub：https://github.com/Kwwwww74/Awesome-Trustworthy-AudioLLMs。

查看 arXiv 页面 (https://arxiv.org/abs/2605.20266) 查看 PDF (https://arxiv.org/pdf/2605.20266) GitHub (https://github.com/Kwwwww74/Awesome-Trustworthy-AudioLLMs) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.20266)

在您的代理中获取此论文：

hf papers read 2605.20266

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2605.20266 以从此页面链接。

引用此论文的数据集 0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2605.20266 以从此页面链接。

引用此论文的 Spaces 0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2605.20266 以从此页面链接。

包含此论文的收藏 0

没有收藏包含此论文

请将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。