paralinguistics

该论文提出了 DuplexJev 方法：将 ASR 编码器的隐状态通过一个小型连接器输入到冻结的 LLM 中，以单一 token 分布的形式回答关于语音的封闭式问题，全程无需解码。该方法能在约 0.1 秒内对八段语音批量作出判定，并将说话人性别与情感识别的准确率提升至 90%。

VoxParity 提出了一项基准测试，检验语音智能体是否会依据文本之外的副语言音频线索（背景声音、第二说话者、情绪等）采取行动。测试发现，在 28 个被测系统中，大多数都未能通过“仅凭文字即可”的零假设检验，并且在音频信号表明需要提供保护时，往往反应不足。

本文提出LAPE方法，该方法通过副语言线索丰富LLM导出的语言表征，用于阿尔茨海默病检测，并在基准数据集上实现了最先进的性能。

SpeechSense是一个用于细粒度语音情感分析的新型数据集，聚焦副语言线索以解决以文本为中心方法的局限性，并验证声学特征的重要性。

引入了反事实审计，以测试音频语言模型评委在评估语音到语音响应时是否真正使用副语言证据，结果发现对比性成功往往高估了原生可靠性，而相似的准确率可能掩盖Gemini、GPT和开放模型之间不同的失败模式。

讨论语音代理在转录为文本时如何丢失语调、犹豫和说话人身份等副语言信号，并质疑这些特征是否以及如何在下游被捕获和使用。

介绍了MMEE，一个包含7种语言、34种情感类别、共10,000条话语的多语言多情感强调语料库，并在多种迁移设置下对强调检测模型进行了基准测试，发现多语言训练能显著提升鲁棒性，而单语言模型的零样本迁移能力有限。

SpeechEQ引入了一个用于评估语音语言模型情商的基准和数据集，涵盖2,265个对话中的15个情商子量表。实验表明，当前模型在处理副语言线索时存在困难，表现出依赖文本的捷径以及其他局限性。

ParaBridge是一种基于策略的自蒸馏方法，旨在弥合语音语言模型中副语言感知与对话行为之间的差距，在不依赖外部奖励的情况下显著提升安全性和共情能力。