FUTO Swipe – 一款新的滑动输入模型

# FUTO Swipe 来源：https://swipe.futo.tech/ 快速、准确的滑行输入系统。现在即可在FUTO键盘中使用——这是我们完全离线的安卓键盘应用。您也可以下载模型并自行构建。 这是一个服务器端演示，用于保持本页面简洁。在生产环境中，它将在设备端本地运行，延迟极低。 长期以来，优质的手机滑行输入功能要么被隐私侵犯型键盘应用垄断，要么只能使用未经授权的私有库。 FUTO Swipe是我们推出的开源模型与算法系列，旨在解决这一问题。我们主要针对FUTO键盘开发了这套系统，但也欢迎更广泛的社区使用FUTO Swipe模型。由于这是我们的长期投资项目，我们要求在使用时向最终用户提供可见的署名。阅读许可证 (https://huggingface.co/futo-org/futo-swipe/blob/main/LICENSE.md) ## 数据集 2024年8月，我们在swipe.futo.org域名上发起了一项数据集收集工作，专门收集QWERTY英语滑行数据。用户自愿通过手机访问该网页，并会收到关于数据集的说明和信息。在同意后，用户会看到主要来自维基百科的句子，并被要求逐词滑行输入。 最终，我们收集了超过100万个滑行样本。我们过滤掉了一小部分低质量样本。2025年3月，我们在MIT许可证下发布了包含100万个滑行样本的数据集，现在可在HuggingFace上获取。 我们大量使用这些数据来训练模型并评估不同的滑行输入系统。 ## 模型 我们的架构包含三种模型类型。 编码器模型是通用型模型，与键盘布局和语言无关，用于一般情况下的滑行输入预测。但其精度并非顶尖。 ContextLM模型是一个极小的语言模型，针对单一语言训练。它通过排除与句子前文不符的无意义词汇来提升预测质量。该模型仅需文本数据即可训练。 最后，解码器是针对特定语言和键盘布局的模型，能够学习布局的独特性并达到领先精度。由于需要特定布局和语言的滑行输入数据用于训练，目前我们仅有QWERTY英语解码器。 结合全部三种模型，并在波束宽度为300的情况下，我们的测试集上前4候选词失败率仅为约4%。忽略词汇表外的情况后，错误率低于1%。 注意：这些数字很大程度上取决于基准测试，实际使用效果可能有所不同，但我们相信我们的表现可与大型科技公司的键盘媲美。 ## 体积 编码器模型仅有635,140个参数，解码器额外增加304,155个参数。最大的ContextLM模型有150万个参数，但其中110万仅是词嵌入。因此实际活跃参数为1,364,271个，总参数为2,494,767个。 这意味着模型体积非常小，且能在低端设备上以毫秒级速度运行。此外，训练模型产生的环境成本也非常低，因为我们从未需要超过一台工作站GPU！ ## C++ 库 从滑行轨迹到单词预测，模型本身只是其中一半的故事。模型预测自身并无太大用处，还需要进行基于词典约束的波束搜索，对一组候选词进行评分，并找出最可能的候选项。 为此，我们发布了swipe-library——一个用C++编写的库，负责处理完整的推理、解码和波束搜索部分，让您轻松从滑行轨迹得到单词预测。 ## 打造酷炫应用！ …或在笔记本电脑触控板上 ## 想用FUTO Swipe构建应用吗？ FUTO Swipe模型采用FUTO模型许可证，推理库采用GPL许可证。我们正在撰写一篇论文，将更详细地描述训练过程和架构。