Show HN:Subvocal – 无声地与你的电脑交谈

Hacker News Top 产品

摘要

Show HN:Subvocal(YC F26)推出智能眼镜,通过射频感知面部,将无声口型或内心言语解码为文本,以内嵌天线的镜框和基于大规模预训练数据训练的基础模型,取代其早期的肌电图(EMG)原型。

嗨,HN 的各位,我们是 The Subvocal Company(YC F26)的 Aarush 和 Arnav。我们正在开发一款智能眼镜,让你无需出声就能与电脑交谈。你可以安静、隐蔽地做出说话的口型,眼镜会以正常说话的速度将其解码为文字。<p>这是 YC 的 Dave 试用它的视频:<a href="https:&#x2F;&#x2F;www.youtube.com&#x2F;watch?v=9QdX1eObVYI" rel="nofollow">https:&#x2F;&#x2F;www.youtube.com&#x2F;watch?v=9QdX1eObVYI</a><p>(补充:其实你不必动嘴唇,甚至不用张嘴,它也能工作!由于射频能够探测口腔内部,系统可以针对&quot;内部言语&quot;进行微调。这并不是你在脑中&quot;默念&quot;词语时舌头发生的自动运动,而更像是闭着嘴唇做出说话的动作。做起来有点奇怪,但经过练习,我们已经能相当熟练地掌握它了。)<p>今年年初,Arnav 和我还在佐治亚理工学院学习计算机科学,对无声语音或传感技术毫无经验。我们都是从一开始就围绕 AI 开展开发的开发者,也是 Wispr Flow 的重度用户。让我们烦恼的是,没法在图书馆(或办公室)以及公共场合使用这些工具。今年二月,在斯坦福大学的 TreeHacks 黑客松上,我们决定做一个我们能想到的、技术上最离谱的东西。我们之前读到过麻省理工学院媒体实验室开发的无声语音系统 AlterEgo,想在 36 小时内复现它。我们把肌电(EMG)电极贴到我的脸上,做出了一个粗糙的原型:<p><a href="https:&#x2F;&#x2F;drive.google.com&#x2F;file&#x2F;d&#x2F;1mwhv5HZMz3UTevdrgwS5O7g2jWV0K9r2&#x2F;view?usp=sharing" rel="nofollow">https:&#x2F;&#x2F;drive.google.com&#x2F;file&#x2F;d&#x2F;1mwhv5HZMz3UTevdrgwS5O7g2jWV...</a><p>它勉强能识别单个字母,但运行得很不稳定。它还不足以让我们赢得黑客松,却让我们下定决心全力投入。第一次在没有任何人察觉的情况下输入一个句子时,我感受到了这项技术的魔力。<p>我们很快意识到,EMG(读取肌肉电信号)这条路行不通:<p>- 汗水会导致信号变化<p>- 电磁干扰<p>- 电极放置位置的差异<p>- 最重要的是,没人想往自己脸上贴电极!!<p>于是,我们转向射频(RF),做出了你们现在看到的眼镜。它会发射类似蓝牙的无线电波,穿过你的面部。当电波经过舌头、嘴唇和软腭时,无声说话的动作会对其产生调制。我们用这些数据训练基础模型,将这些扰动解码为文字。<p>尽管此前已有学术研究,要让它真正工作起来,仍然是一项巨大的工程挑战。首先,我们搭建了一套噪声极低的射频传感系统。然后,我们必须合理布置天线,让它们的电磁场尽可能多地覆盖发音器官。我们第一次把天线装在眼镜上的尝试彻底失败了,于是我们又回到了老办法,把天线用胶带贴在脸上:<p><a href="https:&#x2F;&#x2F;drive.google.com&#x2F;file&#x2F;d&#x2F;1ks0dS0eZiTV9EqSFsyB_w5BBjpcBAfX-&#x2F;view?usp=sharing" rel="nofollow">https:&#x2F;&#x2F;drive.google.com&#x2F;file&#x2F;d&#x2F;1ks0dS0eZiTV9EqSFsyB_w5BBjpc...</a><p>由于很难每次都把天线贴在相同的位置和角度,我们做了这个奇怪但有效的头戴支架,将它们固定住:<p><a href="https:&#x2F;&#x2F;drive.google.com&#x2F;file&#x2F;d&#x2F;1rhzNFpdDzr7oHk0isFY70dkoV4CAF1pT&#x2F;view?usp=sharing" rel="nofollow">https:&#x2F;&#x2F;drive.google.com&#x2F;file&#x2F;d&#x2F;1rhzNFpdDzr7oHk0isFY70dkoV4C...</a><p>这套装置奏效了,但显然还算不上产品。于是,我们深入开展仿真,设计能够容纳天线的眼镜。<p>这逐渐演变成了我们现在的设计,天线嵌入镜框内部。在确认能获取信号后,下一个难关是跨用户泛化。每个人的面部解剖结构差异很大,因此射频信号模式也大不相同。我们尝试过从算法上寻找变通办法,但最终意识到,唯一有效的手段是大幅增加预训练数据。<p>于是我们就这么做了。我们在办公室设置了采集间,付费请人戴着我们的眼镜朗读提示文本,用这些数据对模型进行预训练。由此得到了一条漂亮的规模扩展曲线:随着数据集扩大,错误率迅速下降,跨用户表现也变得相当出色(正如上面视频中所展示的;Dave 只做了简短的 20 句校准)。<p>我们一直听说要从第一性原理出发做东西,但直到这次才真正理解。我们尝试过自上而下地解决这个问题,却彻底失败了。只有把每个组件(天线、电子电路、机器学习)拆解到最基本的原理,逐一理解并优化之后,我们才让它真正达到了很好的效果。<p>接下来的几个月里,我们将继续研发,把眼镜原型打磨成网站上展示的那款精致产品,并于 2027 年第一季度发货。我们也在继续扩大数据集,以改善各种边缘情况的表现。<p>如果你喜欢语音输入,却不愿在人前使用,我们已经开放首批 500 台的预订,价格比最终售价优惠 200 美元。名额正在迅速减少,快来预订吧:<a href="https:&#x2F;&#x2F;subvocal.co&#x2F;preorder" rel="nofollow">https:&#x2F;&#x2F;subvocal.co&#x2F;preorder</a>!
查看原文

相似文章

Show HN:智能眼镜手语翻译

Hacker News Top

Hand Wave 是一个开源手语识别系统,支持网页和 iOS,后端由 Python 推理服务驱动,旨在通过智能眼镜实现翻译功能。