Show HN：智能眼镜手语翻译

Hacker News Top 工具
open-source sign-language recognition ios web python smart-glasses

摘要

Hand Wave 是一个开源手语识别系统，支持网页和 iOS，后端由 Python 推理服务驱动，旨在通过智能眼镜实现翻译功能。

大家好！<p>我有一些亲属使用手语，我一直觉得奇怪的是，尽管近年来人工智能取得了令人难以置信的进步，但这个问题仍然在某种程度上被忽视了。<p>尤其是随着可穿戴技术的出现；据我所知，这是第一个将 Meta 眼镜与指拼翻译软件整合的项目。<p>在技术方面，我在 Google 的 FSboard 数据集上训练了一个神经网络，建模了 CNN + GRU 时间编码器架构（使用 CTC 训练），然后使用 CTC 波束搜索和 KenLM 语言模型对输出进行解码，以解决我模型的一些缺陷。<p>我还使它跨平台（网页 + iOS，支持网页屏幕共享，并且可以使用非智能眼镜）。该项目完全开源免费（FOSS）。<p>我目前正在努力让设备端模型流畅运行，但不幸的是，在低端设备上性能会有所下降，所以目前我选择将模型托管在 Modal 上。<p>改进空间还很大，但我对这个起点感到满意。请告诉我你的想法，并查看 YouTube 演示！
查看原文
查看缓存全文

缓存时间: 2026/08/08 11:17

aadisang/hand-wave

Hand Wave

面向 Web 和 iOS 的手语识别，由一个小型 Python 推理服务提供支持。

在 YouTube 上观看演示 (https://youtu.be/KzZ0YsMSmO8)

安装

环境要求：pnpm 10.33+、Node 22+、Python 3.11/3.12、uv 和 moon。

cp .env.example .env
pnpm install
uv sync --project apps/inference

不要忘记在 .env 中设置 VITE_INFERENCE_URL。

开发

pnpm dev

研究致谢

  • Questure Tracker (https://github.com/tyleryzw/Questure_Tracker)
  • MiCT-RANet for ASL Fingerspelling (https://github.com/fmahoudeau/MiCT-RANet-ASL-FingerSpelling)
  • A Two-Stream Neural Network for Pose-Based Handshape Recognition in American Sign Language (https://link.springer.com/chapter/10.1007/978-3-031-44237-7_29)
  • Mixed 3D/2D Convolutional Tube for Human Action Recognition (https://www.microsoft.com/en-us/research/uploads/prod/2018/05/Zhou_MiCT_Mixed_3D2D_CVPR_2018_paper.pdf)
  • Fingerspelling Recognition in the Wild with Iterative Visual Attention (https://arxiv.org/pdf/1908.10546.pdf)
  • FSBoard: Over 3 million characters of ASL fingerspelling collected via smartphones (https://arxiv.org/abs/2407.15806)

相似文章

Hand Wave

Product Hunt

Hand Wave 是一款智能眼镜产品，可将手语翻译为语音，旨在改善聋人和听障人士的无障碍体验。

Show HN：Subvocal – 无声地与你的电脑交谈

Hacker News Top

Show HN：Subvocal（YC F26）推出智能眼镜，通过射频感知面部，将无声口型或内心言语解码为文本，以内嵌天线的镜框和基于大规模预训练数据训练的基础模型，取代其早期的肌电图（EMG）原型。

迈向实时句子级手语翻译

arXiv cs.CL

本文提出一个句子级手语翻译系统，在How2Sign子集上用QLoRA微调，BLEU达到15.9。主要贡献是一个硬件感知的流式处理流水线，使用Raspberry Pi 4B客户端和CPU/GPU后端，平均延迟降低27.71%。