Mixture-of-experts用于从IMU传感器进行手写轨迹重建

# 基于IMU传感器的手写轨迹重建的混合专家模型
来源：https://arxiv.org/html/2607.26708

###### 摘要

数字笔在在线手写轨迹重建中的应用是实现人机交互的一种常用方法。在本研究中，我们聚焦于一款配备传感器的数字笔，目标是从该笔重建在线手写轨迹。这款笔可以在任何表面书写，并保留手写的数字痕迹。此类笔可作为课堂学习书写的辅助工具。本文提出了一种新方法，旨在精细重建触笔轨迹，同时精确分析悬笔部分，以便正确定位下一次触笔痕迹。该方法基于混合专家模型（Mixture-Of-Experts, MOE）。第一个专家专门处理笔触部分，称为触笔专家模型；第二个专家专门处理悬笔轨迹，称为悬笔专家模型。我们基于额外的上下文信息或特定示例改进了每个专家的学习过程。此外，我们引入了一个新的公开基准数据集，以便未来在手写轨迹重建领域开展研究和比较。实验结果表明，与主要竞争对手相比，本方法有显著提升。

###### 关键词：

在线手写，轨迹重建，数字笔，惯性测量单元，深度神经网络

††期刊：模式识别\\affiliation

\[1\]组织=IRISA, 雷恩大学, 雷恩国立应用科学学院, 城市=雷恩, 国家=法国

\\affiliation

\[2\]组织=IRISA, 雷恩第二大学, 城市=雷恩, 国家=法国

\{graphicalabstract\}![[无标题图片]](https://arxiv.org/html/2607.26708v1/x1.png)

\{highlights\}

- 一种由两个专家神经网络组成的混合专家方法，一个负责触笔轨迹，另一个负责轨迹中的悬笔部分；
- 融入反映物理和动力学的时间上下文，以改进专用于触笔部分的专家模型，并旨在便于与另一个专家模型衔接；
- 考虑悬笔部分中与笔尖高度相关的额外维度，以改进专用于悬笔部分的专家模型；
- 一个混合专家系统，每个专家既在其专用任务上优化，又便于与另一专家协作，从而形成一个连贯且鲁棒的系统；
- 一个新的公共数据库，将作为基准数据集以推动研究进展。

## 1 引言

数字设备在增强学生和教师的学习体验方面发挥着关键作用，通过促进主动学习技术和提供即时反馈[29 (https://arxiv.org/html/2607.26708#bib.bib15)]。关于电子学习的文献[1 (https://arxiv.org/html/2607.26708#bib.bib24),3 (https://arxiv.org/html/2607.26708#bib.bib25),4 (https://arxiv.org/html/2607.26708#bib.bib30)]强调了基于计算机的分析在生成纠正或指导相关反馈方面的准确性和可靠性。基于此，已经开发出基于笔的平板应用程序以提供个性化反馈[17 (https://arxiv.org/html/2607.26708#bib.bib16),30 (https://arxiv.org/html/2607.26708#bib.bib31)]。

尽管对数字平台的依赖日益增加，儿童仍需在纸上学习书写，因为纸张仍是最广泛使用的表面。为解决这一问题，一些数字笔（例如由STABILO开发的Digipen触控笔）配备了运动传感器（惯性测量单元）以追踪笔的运动（图1 (https://arxiv.org/html/2607.26708#S1.F1)）。这种笔允许在任何表面（包括纸张）上捕捉手写手势，并可以在数字媒介（如平板电脑、计算机）上可视化和分析手写重建结果。

参见图注：图1：© STABILO International Digipen传感器位置

本项工作聚焦于从Digipen触控笔重建数字手写轨迹这一挑战性任务。尽管惯性测量单元（IMU）因其成本效益而被广泛用于追踪系统，但其高噪声水平导致信号不准确，带来了问题。与手写识别任务（其中对整体手写形状存在一个标签）不同，轨迹重建要求通过分析局部位移在每个时间帧上进行精确重建。

本研究假设，从IMU数据精确重建手写轨迹可以显著改进教育应用中的反馈机制。这既能提升学习效果和用户体验，同时保留在纸上书写的自然体验。通过实现实时手写指导和纠正，该方法同时具备在实体纸上书写和受益于数字分析与反馈的双重优势，有助于提高电子学习工具的有效性。因此，设计的系统必须尽可能准确地重建轨迹，以用于对学习者提供精确反馈至关重要的电子学习应用。

以往的研究已将IMU传感器用于多种应用，包括识别预定义运动[37 (https://arxiv.org/html/2607.26708#bib.bib18),26 (https://arxiv.org/html/2607.26708#bib.bib33),9 (https://arxiv.org/html/2607.26708#bib.bib34)]、重建行人轨迹[10 (https://arxiv.org/html/2607.26708#bib.bib19)]以及估计工业抓取和放置手势中上肢的运动学[12 (https://arxiv.org/html/2607.26708#bib.bib32)]。已有几项工作研究了使用Digipen触控笔进行手写轨迹重建。[36 (https://arxiv.org/html/2607.26708#bib.bib2)]提出了一种卷积神经网络用于此任务。这是对[24 (https://arxiv.org/html/2607.26708#bib.bib4)]工作扩展到多个书写者的拓展。[34 (https://arxiv.org/html/2607.26708#bib.bib1)]是第三次使用深度神经网络从Digipen重建手写轨迹的尝试，在手写轨迹重建方面取得了有希望的结果。他们的方法专门用于重建触笔部分，这是训练期间唯一可获得可靠真实值的部分。

IMU传感器虽然对追踪运动有用，但随着时间的推移容易累积误差，这种现象称为传感器漂移。在手写轨迹重建领域，先前的方法[19 (https://arxiv.org/html/2607.26708#bib.bib40),27 (https://arxiv.org/html/2607.26708#bib.bib6)]因传感器漂移而面临显著的限制。这种漂移导致长时间或连续手写任务的不精确性，使得准确重建轨迹变得困难。特别是，之前的方法[36 (https://arxiv.org/html/2607.26708#bib.bib2),11 (https://arxiv.org/html/2607.26708#bib.bib41)]将手写视为单一的连续运动，没有将书写分割成不同的部分，往往放大了这种漂移的影响，导致整体重建不准确。

为解决这个问题，我们提出了一种新颖的手写轨迹重建方法，由两个专家网络组成，以处理不同性质的IMU信号。我们的提议基于一个关键思想：将任务分为两个部分：重建触笔接触表面时的轨迹（触笔轨迹）和笔抬起时的轨迹（悬笔轨迹）。实际上，触笔轨迹是二维轨迹，指的是书写本身，其真实值可以通过双Digipen-Wacom采集获得（图5 (https://arxiv.org/html/2607.26708#S4.F5)）。悬笔轨迹是三维轨迹，对应于指向书写下一部分的目标轨迹，其真实值信号只能在笔尖高度低于7毫米时恢复。这是处理悬笔轨迹时需要额外考虑的难点，据我们所知，这在文献中尚未得到妥善处理。因此，本工作的目标是双重的。第一，每种运动类型（2D触笔和3D悬笔部分）都有其自身的动态特性，我们的方法分配专门的专家模型来独立处理这些片段。第二，通过分离两项任务，所提出的方法旨在减少由传感器漂移引入的累积误差。这促使我们选择设计一种混合专家方法，每个特定任务对应一个专家神经网络。

我们的主要贡献如下：

1. 一种由两个专家神经网络组成的混合专家方法，一个负责触笔轨迹，另一个负责轨迹中的悬笔部分；
2. 将时间上下文融入专用于触笔部分的专家模型，反映物理和动力学，并便于与另一专家模型的一致性；
3. 通过考虑训练期间笔尖高度的额外维度，增强专用于悬笔部分的专家模型的能力；
4. 一个混合专家系统，每个专家专攻其专用任务，并促进与另一专家的协作，从而形成一个连贯且鲁棒的系统；
5. 一个新的公共数据库，将作为基准数据集以推动研究进展。

训练和测试阶段进行了详细描述，以便在开放数据库上实现实验的可重复性。

本文其余部分组织如下：相关工作在第二节（第2节 (https://arxiv.org/html/2607.26708#S2)）中介绍。用于手写评估的指标简要回顾在第三节（第3节 (https://arxiv.org/html/2607.26708#S3)）中。第四节（第4节 (https://arxiv.org/html/2607.26708#S4)）介绍我们针对手写的每个部分（触笔和悬笔部分）的专家神经网络的创新方法。然后我们提出对每个专家的改进。实验结果在第五节（第5节 (https://arxiv.org/html/2607.26708#S5)）中从定量和定性两个角度进行了呈现和讨论。消融研究展示了每个贡献的影响。最后，我们进行总结并讨论未来展望。

## 2 相关工作

用于笔记、绘画和手写学习的数字设备领域正在迅速发展。然而，大多数系统使用显示屏来采集数字手写，只有少数系统采用了配备运动追踪系统的触控笔来重建手写轨迹。在本节中，我们重点介绍与手写轨迹重建相关的工作，以及惯性测量单元（IMU）传感器在手写识别中的应用。

### 2.1 手写轨迹重建

存在多种专门用于采集数字手写的系统。大多数使用带显示屏的笔式平板，例如三星S Pen、Apple Pencil、微软Surface Pen以及Wacom，它们提供精确追踪但仅限于特定设备。对于这些系统，笔由位于显示屏下方的电磁共振（EMR）传感器产生的电磁场供电。另一种方法允许在纸上书写，使用配备工具来捕捉手写手势的笔。这包括在触控笔中嵌入摄像头（如Anoto笔），或使用IMU传感器（如Digipen[13 (https://arxiv.org/html/2607.26708#bib.bib35)]）。配备IMU的触控笔用途广泛，允许在平板、纸张或白板上书写。然而，IMU信号仅提供笔的相对位移，引入了潜在的噪声。

手写轨迹重建可以归纳为三类：i) 从离线手写图像重建，如[8 (https://arxiv.org/html/2607.26708#bib.bib3),20 (https://arxiv.org/html/2607.26708#bib.bib29)]；ii) 从笔尖光学追踪系统重建，如[24 (https://arxiv.org/html/2607.26708#bib.bib4)]；iii) 从IMU信号重建。专注于基于IMU的轨迹重建的工作较少。一些方法[5 (https://arxiv.org/html/2607.26708#bib.bib5),24 (https://arxiv.org/html/2607.26708#bib.bib4),36 (https://arxiv.org/html/2607.26708#bib.bib2)]使用深度学习进行在线手写轨迹重建，作为手写识别的一个步骤。较早的方法，如[27 (https://arxiv.org/html/2607.26708#bib.bib6)]中的方法，依赖于传统方法，如隐马尔可夫模型。

手写轨迹重建和IMU信号增强的最新进展凸显了几种创新方法。[5 (https://arxiv.org/html/2607.26708#bib.bib5)]开发了一个手写辅助系统，利用可附加的惯性传感器实现了毫米级精度，展示了基于IMU方法所能达到的高精度。补充这一点的是，[27 (https://arxiv.org/html/2607.26708#bib.bib6)]提出了一种专门针对IMU信号的降噪技术，通过解决传感器噪声问题，可以显著增强手写轨迹重建模型的鲁棒性。在一项相关研究中，[10 (https://arxiv.org/html/2607.26708#bib.bib19)]介绍了一种从IMU数据重建行人轨迹的无监督方法，其方法论可加以调整，以改善在手写应用悬笔笔画期间处理噪声信号的能力。此外，[31 (https://arxiv.org/html/2607.26708#bib.bib36)]提出了一种小波编码网络来增强惯性信号，为提高手写数据集中信号的保真度提供了有价值的见解。[33 (https://arxiv.org/html/2607.26708#bib.bib37)]也贡献了一种基于GAN的惯性信号增强方法，这可以启发重建精度的改进，特别是对于复杂的手写轨迹。[6 (https://arxiv.org/html/2607.26708#bib.bib39)]提出了一种从航空视频中提取和去噪高分辨率车辆轨迹的方法，显著提高了智能交通系统中轨迹数据的精度。最后，[7 (https://arxiv.org/html/2607.26708#bib.bib38)]专注于从AIS传感器数据进行船舶轨迹重建，成功地将深度学习技术与小波分析相结合以进行最优信号去噪，并展示了在轨迹重建任务中的有效应用。总之，这些研究代表了该领域的重大进展，提供了对手写轨迹重建工作大有裨益的方法和见解。[18 (https://arxiv.org/html/2607.26708#bib.bib7)]探索了磁信号，而[36 (https://arxiv.org/html/2607.26708#bib.bib2)]则处理了Stabilo Digipen，使用线性插值将笔和平板信号对齐作为预处理。由于需要匹配序列大小以进行逐点损失计算，因此必须采用对齐方法。他们使用卷积神经网络进行在线手写轨迹重建。最近[34 (https://arxiv.org/html/2607.26708#bib.bib1)]在[36 (https://arxiv.org/html/2607.26708#bib.bib2)]的基础上进行了改进，提出了一个完整的流程来实现在线手写轨迹重建，参见图2 (https://arxiv.org/html/2607.26708#S2.F2)。特别地，使用动态时间规整（DTW）将真实值与输入信号对齐，与[36 (https://arxiv.org/html/2607.26708#bib.bib2)]中使用的线性插值不同，这具有保留手写动态性的优势。

参见图注：图2：文献[34 (https://arxiv.org/html/2607.26708#bib.bib1)]中提出的处理流程。(a) 通过d