标签
SignTrace是一个使用大型语言模型实现中文手语词典反向查找的系统,实现了从自然动作描述中识别手势的94.0%的Hit@1准确率。
Google Gemini 现已支持从视频转写手语,这是 AI 模型在无障碍方面的一项显著进步。
本文提出了一种无标注表示学习方法,用于跨数据集手语词汇检测,利用土耳其手语广播中的弱对齐字幕。研究表明,LLM辅助的伪标注规范化能改善时间定位和下游翻译质量。
Google DeepMind 宣布了SL2T,这是一个与聋人社区共同开发的系统,旨在将ASL输入引入手机,并计划将这项技术扩展到更多手语和应用中。
Google DeepMind 开发了一种人工智能模型,通过直接将手、身体和面部动作转换为文本来翻译手语,解决了长期以来的技术挑战。
DeepMind推出SL2T,这是一个大规模多语言手语到文本翻译模型,目前为Pixel 11上的Gboard和Live Transcribe提供美国手语的手语到文本听写功能,后续将支持更多语言。
Hand Wave 是一个开源手语识别系统,支持网页和 iOS,后端由 Python 推理服务驱动,旨在通过智能眼镜实现翻译功能。
Uvilox AI 推出了一款系统,可将美国手语实时翻译为紧急警报,从而在紧急情况下改善聋哑人士的无障碍沟通。
本文提出了NEST-V1,一个用于从语音输入生成情感条件尼泊尔手语虚拟形象的概念验证多模态框架,在包含50名说话者600个音频样本的数据集上实现了81.1%的ASR准确率和79.21%的情感识别准确率。
本文介绍了用于手语对话情感识别的eJSL Dialog数据集,填补了现有数据集缺乏对话上下文的空白。基准测试表明,应用通用多模态模型时存在领域差距,凸显了针对手语的上下文感知视觉提取器的必要性。
本文介绍了一个直接的手语到手语翻译模型,它绕过了中间文本,通过使用回译来创建合成的平行手语数据,在ASL、CSL和DGS上,相较于级联方法,在速度和准确性上取得了显著提升。
一篇研究论文,介绍了德国手语(DGS)童话故事情感分析的数据集和基于XGBoost的模型。该模型使用MediaPipe提取的面部和身体运动特征,实现了63.1%的平衡准确率,证明了面部和身体动作在手语情感传达中的重要性。