标签
该研究利用跨三个自发双人互动数据集的多模态特征(发音、面部、声学韵律和话轮转换),预测自闭症与非自闭症互动中的感知对话成功度,表明对话成功本质上是多维的,需要多模态分析框架来提升预测效果。
该论文提出一种基于双向音频-文本交叉注意力的多模态框架,用于视频级别的矛盾与犹豫状态识别,在BAH数据集上取得77.95%的A/H F1分数。
该论文比较了扩散式与自回归多模态大语言模型生成的标注与人类在观看卡通短片时的Theory of Mind和情感效价评分的时间一致性,并检验其对fMRI脑反应的预测能力,发现MLLM标注可作为脑预测性社会情感内容标注的可扩展工具,但与人类评分存在系统性差异且对齐效果因模型和影片而异。
一份关于 Astraea 的 17 天开发更新。Astraea 是一个实验性认知架构,本文涵盖对其 233 个 Python 文件的深度架构审计,以及对其情感时序、共享边界并发、AISS 事件系统和记忆/连续性处理的修复。
Emochi 是一款语音日记应用,能将语音笔记转化为反映你情感世界的生成式角色,并提供即时转录功能,帮助用户发现情绪模式。它由一位医生、一位设计师和两位 AI 工程师打造,基于情感科学,提供私密的、非临床的自我反思体验。
提出了自目标内部注意力增强(SIAB)方法,通过因果定位与激活修补,在模型内部定位稀疏的情感注意力头,并增强其内容词注意力路由,从而在不依赖外部知识或参数更新的情况下,提升大语言模型在多轮对话中的情感状态推理能力,并在ECC和GoEmotions基准上显著提高宏平均F1分数。
这篇论文将音乐愉悦度预测构建为回归问题,利用MUSIN-G数据集的128通道EEG数据,比较了六种深度学习模型(DeepConvNet、CNN-LSTM、GNN-CNN、TCN等),并通过可解释性分析识别影响预测的关键时间片段。
塔林大学博士项目开发了基于摄像头的 Enactive Facial Expression Pipeline (EFEP) 系统,通过分析面部动作单元而非宽泛情绪标签,实时估计并生成 AI 虚拟角色的回应表情,同时揭示了现有分析工具间的分歧与人口统计偏差。
本文提出 TRACE 框架,将情感过程形式化为 Condition-Affect-Effect 三阶段,并发布 TRACE-Bench 基准(646 个视频、3,746 个问答对),评估多模态大模型在真实社交场景中的情感理解能力。同时提出基于认知的结构化推理方法 TRACER,在五项任务上超越所有基线模型。
本文研究基于同步EEG-fNIRS数据的零样本跨被试连续效价-唤醒度回归问题,将情感分解为刺激共享成分与个体成分,其中个体成分通过无标签的α频带跨通道同步性进行校准;该方法在性能上超越EEGNet和ASAC-Net等基线模型,并对多种替代架构与特征进行了系统的负面结果搜索。
本文审计了多语言情感生成基准测试,揭示系统排名由测量伪影而非真实性能差异驱动,标注者变异性在其中扮演关键角色。
BiCFlow-MER 提出了一种基于条件流的音频-文本多模态情感识别框架,该框架能够将情感证据从说话者及词汇因素中分离出来,并在IEMOCAP、MELD和CASE基准测试中取得了最先进的成果。
本文提出设计原则及'AGIMUD'软件,该软件利用生成式人工智能和分布式处理,以支持在模拟动态世界中人类与多个AI智能体之间的社会情感交互。
本文揭示,在全模态大语言模型中,用于线性探测读取概念的最佳层与用于激活操控的最佳层并不相同,这挑战了表征工程领域的普遍经验法则。
本文提出了一种情感原型条件融合(APCF)框架,用于处理不完整模态的开放词汇多模态情感识别,使用情感原型库来指导特征融合,并利用LLM解码器生成自然语言情感标签。
本文提出了一种情感计算的关系框架,将焦点从个体情绪状态转向语音动态中的交互场,并通过一项使用自监督语音表示来检测方向性表达耦合的实证研究加以支持。
本文介绍了MultiHuSE,这是一个多模态数据集,包含演员视频,标注了幽默风格和情感。基线实验表明,多模态融合比单模态方法提高了幽默风格分类的准确性。
本文讨论了确定性人工智能代理如何表现出享乐性位置偏好行为,这对理解意识和自由意志具有启示意义。
AffectOmni是一个基于GRPO训练的框架,用于多模态大型语言模型中的可验证情感推理,引入了People Focus和Temporal Order奖励,以增强以人为中心的证据选择和时间结构化推理,实验显示在7B规模基线上有所改进。
本文介绍了一种双塔架构,将EEG数据与文献信息环境先验相结合用于情感状态分类,证明了仅使用EEG时的准确性提升,同时强调了方法学进步,而非暴露-情感的因果关联。