sign-language-translation

VTaMo 引入了显式的多粒度视频-文本对齐方法，通过最优传输和对比学习实现手语翻译，在四个基准测试上取得了最先进的性能。

本文提出一个句子级手语翻译系统，在How2Sign子集上用QLoRA微调，BLEU达到15.9。主要贡献是一个硬件感知的流式处理流水线，使用Raspberry Pi 4B客户端和CPU/GPU后端，平均延迟降低27.71%。