@OrukLabs:这些模型从未被告知什么是情感。它们只被训练转录文字,或填充掩码音频。……
摘要
OrukLabs的一项研究表明,仅通过转录或掩码音频任务训练的语音模型,会自动在深层中学习表达情感,这一点通过映射真实语音片段得以揭示。
这些模型从未被告知情感是什么。
它们只被训练转录文字,或填充掩码音频。仅此而已。
用3276条真实语音片段映射它们的层,情感自然浮现。越深入,越清晰。https://t.co/RyN92FlsKU
查看缓存全文
缓存时间: 2026/07/05 22:36
这些模型从未被告知什么是情绪。它们被训练转录文字或填补被遮蔽的音频。仅此而已。用3,276段真实语音片段映射它们的层,情绪便自行显现。层越深,结果越清晰。https://t.co/RyN92FlsKU
相似文章
实时语音AI能听到情绪——但它真的会用吗?
这项研究测试了实时语音AI模型在语音中识别情绪线索的能力,发现尽管它们能检测到痛苦或讽刺等情绪,但这些信息并不能可靠地影响决策,突显了当前系统在情感智能方面的差距。
@nrol_ling: 七种语言,4,421条话语:情感在所有语言中是否以相同方式表示?大部分是的。几何形状对齐……
研究发现,在语音模型中,情感表示在七种语言中大多是通用的,有一个可衡量的‘口音’,这与人类跨文化研究相似,并影响跨语言迁移。
模型在哪里找到快乐?开源LLM中的情感向量
本文复现了开源权重大语言模型Apertus-8B和Gemma-4-E4B中'情感向量'的发现,表明价态几何结构在不同模型间可恢复,但层间出现时机存在差异。研究还发现唤醒编码对用于提取的故事语料库敏感。
大型音频语言模型中的多语言情感神经元
首次从神经元层面解释大型音频语言模型如何编码多语言情感,引入一致性正则化融合(Consistency-Regularized Fusion)以识别跨12种语言的多语言情感神经元,并展示了跨语言迁移的益处。
语音强调模型能否跨语言和情感泛化?
介绍了MMEE,一个包含7种语言、34种情感类别、共10,000条话语的多语言多情感强调语料库,并在多种迁移设置下对强调检测模型进行了基准测试,发现多语言训练能显著提升鲁棒性,而单语言模型的零样本迁移能力有限。