GroupAffect-4:四人协作互动的多模态数据集
摘要
本文介绍了GroupAffect-4,一个包含40名参与者(组成10个四人小组)执行协作任务的多模态数据集。数据集包括对齐的生理、眼动、音频、自我报告和个性数据,以及针对个体内、个体间和群体层面分析的基准目标。
arXiv:2605.19765v1 公告类型:新
摘要:现有的情感计算、社会信号处理和会议语料库捕捉了人类互动的重要部分,但很少支持将共处群体中的情感分析视为个体、人际和群体层面的耦合过程。所需的信号(每位参与者的生理、眼动、音频、自我报告、任务结果和个性)通常分散在各自的数据集传统中。我们引入了GroupAffect-4,一个包含40名参与者(组成10个四人小组)的多模态语料库,每个小组完成四个生态多样的协作任务,涵盖信息汇集、谈判、创意生成和公共物品博弈。每位参与者配备手腕式生理传感器、眼动追踪眼镜和近讲麦克风;会话包括连续的情感自我报告、任务后问卷、任务结果和大五人格评分,所有数据均与共享时钟时间对齐。数据集覆盖了预期的生理窗口的91%以上和眼动窗口的98%,通过谈判环节的清晰情感操控检查确认了强大的任务效度。我们定义了十五个基准目标,涵盖三个分析层面——个体内状态、个体间特质和群体动态——并报告了留一组交叉验证的可行性基线,确立了数据集的评估范围。GroupAffect-4以受BIDS启发的结构、Croissant元数据、数据表、每会话质量报告和开放处理脚本发布。代码和处理脚本可在https://github.com/meisamjam/GroupAffect-4获取;数据集存档于https://zenodo.org/records/20037847。
相似文章
ChatGPT 情感使用与情感幸福感的早期研究方法
OpenAI 和 MIT Media Lab 研究人员进行了两项并行研究,分析了与 ChatGPT 的情感互动如何影响用户幸福感。该研究结合了对 4000 万次对话的分析和对 1000 名参与者的随机对照试验,以了解其对孤独感、社交互动和有问题的 AI 使用的影响。
BEHAVE:用于集体人类动态实时建模的混合人工智能框架
BEHAVE是一个混合人工智能框架,用于集体人类动态的实时建模,如arXiv上的一篇预印本所述。
Omni-Persona:对全模态个性化进行系统性基准测试与改进
本文介绍了 Omni-Persona,这是首个涵盖文本、图像和音频的全模态个性化综合基准测试。该基准包含 Persona Modality Graph(角色模态图)以及用于评估接地(grounding)行为的新指标 Calibrated Accuracy(校准准确率)。
评估主动式对话智能体中的多模态情绪识别:一项用户研究
本文介绍了一个用于主动对话智能体的多模态情绪识别模块,该模块结合了面部识别与语言分析。一项涉及20名参与者的用户研究发现了一种“扑克脸”效应,即视觉线索不可靠,而语言分析则更为准确;研究还表明,智能体可以通过对话适应性来引发情绪。
DraDDP:一个多模态多方对话话语解析数据集
本文介绍了DraDDP,这是首个公开的英文多模态多方对话话语解析数据集,基于美国电视剧构建,包含495个片段、6,374个话语和9.1小时的视频。基准测试表明,多模态信息有助于改善对话结构和关系类型的解析。