迈向实时句子级手语翻译

# 迈向实时句子级手语翻译
来源：https://arxiv.org/html/2607.09611
Thanh\-Hoang Nguyen Doan 岘港大学——科学与技术大学 102230150@sv1\.dut\.udn\.vn

###### 摘要

大多数手语理解系统在孤立手势层面运行，这限制了它们在自然交流中的实用性。我们研究*句子级*手语翻译（SLT），主要目标是在实时部署方面取得进展，而非提出新的翻译架构。我们在 How2Sign 数据集的一个均匀采样的 9872 样本子集上（由于计算和存储限制而选择），使用 QLoRA 对 SHuBERT–ByT5 翻译栈进行微调，同时保持 SHuBERT 冻结。该模型在验证集上获得 BLEU 为 16.7，在测试集上获得 BLEU 15.9 和 BLEURT 44.7。主要贡献是一个硬件感知的流式系统：一个 Raspberry Pi 4B 参考客户端提供摄像头捕捉、本地文本显示和语音输出，而计算密集型的感知和翻译在 CPU/GPU 后端运行。捕获协议保持客户端无关，因此同一后端可以为浏览器、手机或笔记本电脑提供服务。分块接收、有界队列、并行化感知、时间重排序和句子边界状态机将完整 9872 样本工作子集的最终化后平均响应延迟从 1.873 秒降至 1.354 秒（减少 27.71%），P95 延迟从 2.919 秒降至 2.130 秒（减少 27.03%）。

## 1 引言

手语是完整的自然语言，拥有自己的词汇、语法和非手动语法标记。手语的计算机处理工作历史上集中在*孤立手语识别*（ISLR）上，其中将一段短小的剪辑映射到一个单独的注释或单词。这种框架便于数据收集、标注、训练和评估，因为每个示例恰好包含一个语言单元，使模型能够专注于判别性视觉线索，如手形、手部位置、运动方向、面部表情和身体姿势。然而，单个手势是一个粗略的意义单元：在孤立状态下，它通常无法传达说话者的完整交际意图。

在真实互动中，手语使用者不会生成具有清晰边界的独立单词。他们生成连续的手势流，其中动作被链式连接、协同发音，并以节奏进行调制。因此，我们将目标从单词级识别转向*句子级*手语翻译（SLT）(Camgöz等人，2018 (https://arxiv.org/html/2607.09611#bib.bib13), 2020 (https://arxiv.org/html/2607.09611#bib.bib14))，其中输入是整个连续的说话，输出是完整的文本句子。在句子级操作使模型能够学习手势之间的上下文关系，解决手势单独出现时产生的歧义，并输出可以作为文本显示或直接语音的输出，而不是一系列注释标签。

这种转变伴随着代价。句子级 SLT 必须处理包含更多帧的更长的视频，应对手势之间的模糊边界，并依赖更丰富的监督。非手动通道——面部表情、口型动作和上半身运动——成为强制信号而非可选线索；仅关注手部的模型会丢弃大量语言信息。

部署增加了进一步的约束。一个有用的辅助系统应该快速响应，然而在每出现一个手势时立即翻译既容易出错也不自然。因此，我们采用一种*先接收完整话语再翻译*的设计：系统持续接收手势流，检测话语何时结束，并在不久后输出翻译。工程目标是在句子级模型的上下文准确性与足够低的响应延迟之间取得平衡，以实现接近实时的通信。

为了实现这一设计，我们基于 SHuBERT (Gueuwou等人，2025 (https://arxiv.org/html/2607.09611#bib.bib7)) 构建，这是一个自监督模型，从大约一千小时的手语视频中学习手势表示。我们不从头训练新的手语编码器。相反，我们附加一个字节级解码器，并在资源受限的、从 How2Sign 基准 (Duarte等人，2021 (https://arxiv.org/html/2607.09611#bib.bib15)) 均匀采样的子集上微调翻译栈，仅更新一小部分参数，同时保持 SHuBERT 冻结。由此产生的模型计算量大，这正是本工作的核心是硬件感知实时栈的原因。我们的参考实现使用 Raspberry Pi 4B，配备摄像头、显示器、扬声器、电池和外壳作为交互端点，而 CPU/GPU 推理则卸载到后端。网络契约是客户端无关的：只要浏览器、手机或笔记本电脑按照相同的接口采样、分块和上传帧，就可以替换 Raspberry Pi。

#### 贡献。

本文的主要重点是实时部署，我们的贡献反映了这一重点。111代码可在 https://github.com/NguyenDoanThanhHoang/Toward-Real-Time-Sentence-Level-Sign-Language-Translation 获取。(i) *实时流式推理（主要贡献）*。我们提出了一个用于连续手势的流式流水线，结合了分块接收、有界队列、并行化地标感知、时间重排序和句子边界状态机。在模型和解码设置保持不变的情况下，优化的运行时将最终化后平均响应延迟降低了 27.71%，P95 降低了 27.03%。(ii) *硬件感知的边缘部署*。我们在便携式 Raspberry Pi 4B 设备上实现了交互循环，具备摄像头捕捉、本地显示和语音输出，同时将繁重的推理卸载到 GPU 后端。硬件原型是参考客户端，而非协议依赖；浏览器、手机和笔记本电脑客户端使用相同的 HTTPS 接口。(iii) *How2Sign 微调*。我们在一个均匀采样的 9872 样本 How2Sign 子集上，使用 QLoRA 微调了冻结的 SHuBERT 编码器与 ByT5 解码器，获得了验证 BLEU 16.7 和测试 BLEU 15.9，以及测试 BLEURT 分数 44.7。

## 2 相关工作

#### 从孤立识别到翻译。

早期的手语系统针对 ISLR，将剪辑后的片段映射到注释。通用的基于骨架的视频编码器，如 PoseConv3D (Duan等人，2022 (https://arxiv.org/html/2607.09611#bib.bib18)) 提供了运动表示，而 NLA\-SLR (Zuo等人，2023 (https://arxiv.org/html/2607.09611#bib.bib19)) 专门针对孤立手势识别；这两种方法都不直接生成流畅的句子。神经 SLT 将问题重新定义为序列到序列生成：Camgöz 等人 (2018 (https://arxiv.org/html/2607.09611#bib.bib13)) 引入了神经手语翻译，而 Camgöz 等人 (2020 (https://arxiv.org/html/2607.09611#bib.bib14)) 使用变换器联合建模识别和翻译。Yin 和 Read 的 STMC\-Transformer (Yin and Read, 2020 (https://arxiv.org/html/2607.09611#bib.bib16)) 加强了翻译序列建模，并突出了基于注释的表示的局限性。后来的工作通过视觉-语言预训练和无注释的端到端训练 (Zhou等人，2023 (https://arxiv.org/html/2607.09611#bib.bib17); Lin等人，2023 (https://arxiv.org/html/2607.09611#bib.bib20)) 消除了对注释监督的依赖。诸如 WMT\-SLT (Müller等人，2022 (https://arxiv.org/html/2607.09611#bib.bib21)) 之类的社区基准进一步标准化了评估。我们的系统遵循无注释、面向翻译的路线：它直接将连续手势映射到句子，无需中间的注释解码步骤，从而避免了从注释识别器到语言模型的错误传播。

#### 自监督表示。

自监督预训练已经重塑了语音和视觉领域。HuBERT (Hsu等人，2021 (https://arxiv.org/html/2607.09611#bib.bib6)) 通过对聚类目标进行掩码预测来学习语音表示。SHuBERT (Gueuwou等人，2025 (https://arxiv.org/html/2607.09611#bib.bib7)) 将这一思想带入手语领域：它是一个自监督的变换器编码器，在大约 1000 小时的美国手语视频上训练，通过预测多个视觉流（手部、面部和身体姿势）的聚类目标，在手语翻译、孤立手势识别和手指拼写检测方面达到了最先进的结果。SHuBERT 是我们系统的骨干：我们将其预训练的多流编码器作为冻结的时间手势表示，并仅在其上附加一个字节级解码器用于句子级翻译（第 3 节 (https://arxiv.org/html/2607.09611#S3)）。在视觉方面，DINOv2 (Oquab等人，2024 (https://arxiv.org/html/2607.09611#bib.bib5)) 从视觉变换器 (Dosovitskiy等人，2021 (https://arxiv.org/html/2607.09611#bib.bib4)) 中无需标签产生稳健的通用图像特征；我们将其用作冻结的区域特征提取器，为 SHuBERT 提供每帧输入。

#### 文本生成与高效适配。

T5 (Raffel等人，2020 (https://arxiv.org/html/2607.09611#bib.bib2)) 将 NLP 任务转化为文本到文本生成；ByT5 (Xue等人，2022 (https://arxiv.org/html/2607.09611#bib.bib3)) 通过基于字节操作消除了固定的子词词汇表，这适合简短、自由形式的目标句子。由于对此类模型进行完全微调成本高昂，我们采用参数高效适配：LoRA (Hu等人，2022 (https://arxiv.org/html/2607.09611#bib.bib10)) 将低秩更新注入注意力投影，而 QLoRA (Dettmers等人，2023 (https://arxiv.org/html/2607.09611#bib.bib11)) 将其与 4 比特量化相结合，使得适配可以在适度的硬件上运行。

#### 感知与评估。

对于每帧几何信息，我们依赖 MediaPipe (Lugaresi等人，2019 (https://arxiv.org/html/2607.09611#bib.bib8)) 及其姿态估计器 (Bazarevsky等人，2020 (https://arxiv.org/html/2607.09611#bib.bib9))。对于翻译质量，我们报告 BLEU (Papineni等人，2002 (https://arxiv.org/html/2607.09611#bib.bib12)) 和 BLEURT (Sellam等人，2020 (https://arxiv.org/html/2607.09611#bib.bib22))。

## 3 翻译模型

RGB 帧流 → MediaPipe 地标 → ROI 裁剪 224×224 → DINOv2 编码器 → SHuBERT 时间编码器 → 线性投影 → ByT5 解码器 → 英文句子
手部 / 面部 / 姿态分支 384 维区域特征 4 流 → 768 维上下文 字节级生成 姿态几何（低维向量）

图 1：句子级翻译级联。地标定位手部、面部和上半身；手部和面部裁剪由 DINOv2 编码为 384 维区域特征，而姿态分支贡献一个低维几何向量。SHuBERT 将四个流融合为 768 维上下文序列，线性投影馈送给 ByT5，ByT5 解码出英文句子。仅训练投影和选定的 ByT5 参数；SHuBERT 被冻结。

我们的模型不直接翻译原始像素。相反，它首先将视频转换为结构化的视觉信号——手部和面部几何、上半身姿态、裁剪的手部和面部区域及其随时间的变化——然后将这些信号通过三个学习阶段。图 1 (https://arxiv.org/html/2607.09611#S3.F1) 总结了级联。我们依次描述每个阶段，并阐明哪些组件在适配期间被学习，哪些被冻结。

### 3.1 几何感知

第一阶段是一个视觉感知层，它估计每帧中手语者的结构。我们使用 MediaPipe (Lugaresi等人，2019 (https://arxiv.org/html/2607.09611#bib.bib8))，包含三个分支：面部地标器、双手地标器和上半身躯干姿态估计器。这些分支不是翻译模型；它们产生几何坐标，告诉系统在任何深度编码器运行之前从哪里看。

三个分支扮演互补的语言角色。手部是词汇内容的主要载体。面部提供表情、口型动作和其他非手动标记，这些可以将陈述句变为问句或改变语气。姿态稳定了运动方向的解释，并有助于检测手语者是否在活动。由于这些通道携带不同的信息，任何一个通道都不能被丢弃，而不冒意义损失的风险，特别是在表达或轨迹在语法上承载重要信息的句子中。

### 3.2 区域视觉特征

我们不是将整帧馈送给时间编码器，而是使用地标定位手部和面部，裁剪这些区域，并将其调整为 224×224。每个区域由 DINOv2 (Oquab等人，2024 (https://arxiv.org/html/2607.09611#bib.bib5)) 编码，这是一个自监督的视觉变换器，编码为 384 维特征向量，压缩了手形、手指方向、相对手的位置和面部表情。这有两个好处。首先，丢弃背景减少了环境噪声。其次，DINOv2 特征比原始像素更稳定，使下游翻译器能够关注手势的语义演变，而不是重新解决低级视觉问题。

### 3.3 时间手势编码

给定每帧特征，模型必须理解它们随时间如何变化。这是 SHuBERT (Gueuwou等人，2025 (https://arxiv.org/html/2607.09611#bib.bib7)) 的作用，这是一个受到 HuBERT (Hsu等人，2021 (https://arxiv.org/html/2607.09611#bib.bib6)) 启发的用于手语的序列编码器。SHuBERT 消耗四个通道——左手、右手、面部和上半身姿态。手部和面部由其 384 维 DINOv2 向量表示，而姿态则简化为一个来自鼻、肩、肘和腕点的低维几何向量。这些通道被投影到一个公共空间，在每个时间步融合，并由一个变换器 (Vaswani等人，2017 (https://arxiv.org/html/2607.09611#bib.bib1)) 编码为整个话语的 768 维上下文表示。由于该表示整合了同一句子内的过去和未来帧，它能够消除那些手形相同但轨迹或上下文不同的手势的歧义。

### 3.4 文本生成

最后阶段是 ByT5 (Xue等人，2022 (https://arxiv.org/html/2607.09611#bib.bib3))，一个编码器-解码器文本生成器。在 SHuBERT 产生上下文表示后，一个投影层将其映射到解码器的潜在空间，然后 ByT5 逐步生成英文句子。在字节级操作使输出摆脱固定子词词汇表的限制，这对于我们数据中简短、自由形式的目标句子很方便。在实时推理期间，我们使用较小的波束宽度以保持解码速度；在初步运行中，较大的波束并未改善短句子，有时还会增加尾随伪影。

### 3.5 参数高效适配

我们从预训练的 SHuBERT 和 ByT5 初始化翻译栈，然后在均匀采样的 How2Sign 工作子集 (Duarte等人，2021 (https://arxiv.org/html/2607.09611#bib.bib15)) 上使用 QLoRA (Dettmers等人，2023 (https://arxiv.org/html/2607.09611#bib.bib11)) 为 SLT 进行微调。这是针对 How2Sign 的任务适配，而非从头训练手语编码器。基础 ByT5 权重被量化为 4 位 NF4，计算类型为 FP16，并且低秩 LoRA (Hu等人，2022 (https://arxiv.org/html/2607.09611#bib.bib10)) 更新（r=4 r=4）在查询和值投影以及 SHuBERT→ByT5 投影层上进行训练。SHuBERT 本身保持冻结。这一选择保留了自监督的手语先验，将可训练参数限制在直接影响生成的组件，并使微调变得经济。