德国手语童话故事的情感分析

arXiv cs.CL 论文
sentiment-analysis sign-language computer-vision multimodal dataset xgboost accessibility

摘要

一篇研究论文，介绍了德国手语（DGS）童话故事情感分析的数据集和基于XGBoost的模型。该模型使用MediaPipe提取的面部和身体运动特征，实现了63.1%的平衡准确率，证明了面部和身体动作在手语情感传达中的重要性。

arXiv:2604.16138v1 公告类型：新投稿 摘要：我们介绍了一个德国手语（DGS）童话故事情感分析的数据集和模型。首先，我们使用四个大型语言模型（LLMs）和多数投票，对德国童话文本片段进行三个价态等级（消极、中立、积极）的情感分析，达到0.781的Krippendorff's alpha标注者间一致性。其次，我们使用MediaPipe从每个对应的DGS视频片段中提取面部和身体运动特征。最后，我们训练一个可解释的模型（基于XGBoost）从视频特征预测消极、中立或积极情感。结果显示平均平衡准确率为0.631。对最重要特征的深入分析表明，除了面部的眉毛和嘴部运动外，臀部、肘部和肩部的运动也对情感判别有显著贡献，说明面部和身体对手语中的情感传达具有同等重要性。
查看原文
查看缓存全文

缓存时间: 2026/04/20 08:30 

# 德国手语童话故事的情感分析
来源：https://arxiv.org/abs/2604.16138
查看 PDF (https://arxiv.org/pdf/2604.16138)

> 摘要：我们提出了一个德国手语 (DGS) 童话故事情感分析的数据集和模型。首先，我们使用四个大语言模型 (LLM) 和多数投票，在德国童话文本片段上执行三个价态水平（消极、中性、积极）的情感分析，达到 0.781 的 Krippendorff's alpha 注释者一致性。其次，我们使用 MediaPipe 从每个对应的 DGS 视频片段中提取面部和身体运动特征。最后，我们训练了一个可解释的模型（基于 XGBoost）来从视频特征预测消极、中性或积极情感。结果显示平均平衡准确度为 0.631。对最重要特征的深入分析表明，除了面部的眉毛和嘴部运动外，臀部、肘部和肩部的运动也在传达情感的判别中做出了相当大的贡献，这表明在手语中，面部和身体对情感交流的重要性相等。

## 提交历史

来自：Fabrizio Nunnari \[查看邮箱 (https://arxiv.org/show-email/b2fab70e/2604.16138)\] **\[v1\]** 周五，2026 年 4 月 17 日 15:10:59 UTC (1,161 KB)

相似文章

手语对话中的情感识别

arXiv cs.CL

本文介绍了用于手语对话情感识别的eJSL Dialog数据集，填补了现有数据集缺乏对话上下文的空白。基准测试表明，应用通用多模态模型时存在领域差距，凸显了针对手语的上下文感知视觉提取器的必要性。

BIASEDTALES-ML：用于分析大语言模型生成故事中叙事属性分布的多语言数据集

arXiv cs.CL

# BIASEDTALES-ML：用于分析大语言模型生成故事中叙事属性分布的多语言数据集 来源：[https://arxiv.org/html/2604.17008](https://arxiv.org/html/2604.17008) Yuxuan Ouyang1,Yingfeng Luo1,Tong Xiao1,2,Jingbo Zhu1,2 1中国沈阳东北大学计算机科学与工程学院 2中国沈阳 NiuTrans Research [email protected] {xiaotong,zhujingbo}@mail.neu.edu.cn ###### 摘要 大型语言模型（LLM）正日益被广泛用

手语间的直接翻译

arXiv cs.CL

本文介绍了一个直接的手语到手语翻译模型，它绕过了中间文本，通过使用回译来创建合成的平行手语数据，在ASL、CSL和DGS上，相较于级联方法，在速度和准确性上取得了显著提升。