HARMES数据集上多模态人体活动识别融合技术的比较

# HARMES数据集上多模态人类活动识别融合技术比较
来源：https://arxiv.org/html/2606.27886
11institutetext:德国锡根大学
11email:engahmedmohamady23@gmail\.com
https://ubicomp.eti.uni-siegen.de/
\*这些作者对本文贡献相同。###### 摘要

近年来，基于可穿戴传感器的人类活动识别（HAR）研究表明，多模态深度学习模型在性能上始终优于单模态模型。模态可包括IMU、RGB摄像头、音频信号等。多模态深度学习的一个重要方面是我们采用的传感器融合方法。近年来，针对多模态HAR提出了多种融合范式。然而，据我们所知，目前尚无在通用多模态HAR基准数据集上对这些范式进行直接比较的研究。为填补这一研究空白，我们系统比较了七种最先进的传感器融合方法，并在近期发布的HARMES数据集上进行实验。该数据集包含61小时完全标注的IMU、音频和环境湿度数据。选定的数据集聚焦于15种日常生活中的家务和个人卫生活动（ADLs）。通过将七种不同的融合技术应用于最先进的多模态模型架构，我们发现在留一参与者评估下，门控多模态融合（Gated Multi-modal Fusion）取得了最高的宏F1分数（0.82），超过了基于拼接的晚期融合HARMES论文基线（0.76）6个百分点。我们实验中使用的所有代码已在GitHub上公开111https://github\.com/AhmedMohamady98/A\-Comparison\-of\-Fusion\-Techniques\-for\-Multi\-Modal\-Human\-Activity\-Recognition\-on\-the\-HARMES\-Dataset。

## 1引言

基于可穿戴和环境传感器的人类活动识别（HAR）是医疗监控、辅助生活、智能家居自动化和活动感知计算的基础任务[6 (https://arxiv.org/html/2606.27886#bib.bib56)]。过去十年，深度学习架构应用于惯性测量单元（IMU）数据[41 (https://arxiv.org/html/2606.27886#bib.bib333),30 (https://arxiv.org/html/2606.27886#bib.bib257)]，推动了快速发展。这些模型现在通常能在脚本化活动语料库上实现高分类精度，但它们仅基于单一传感器通道，容易受到现实世界干扰的影响，如惯用手、传感器放置位置的变化以及具有相似运动特征的活动。越来越多的研究表明，结合多种传感模态可以克服单模态HAR的局限性[36 (https://arxiv.org/html/2606.27886#bib.bib286),3 (https://arxiv.org/html/2606.27886#bib.bib25)]。例如，音频捕捉水基和机械活动（如洗碗、吸尘、刷牙）的特征性声学特征，这些特征难以仅通过IMU传感器区分。环境传感器如湿度提供上下文先验：水槽附近的高湿度指示与水相关的任务[10 (https://arxiv.org/html/2606.27886#bib.bib64),7 (https://arxiv.org/html/2606.27886#bib.bib62)]。HARMES数据集[8 (https://arxiv.org/html/2606.27886#bib.bib60)]提供了一个公开、多参与者、长时间跨度的基准，包含同步的IMU、音频和湿度流，记录自日常生活活动（ADLs），使得在生态有效数据上进行多模态融合研究成为可能。

关于多模态融合的文献种类繁多。架构范围从简单的模态嵌入晚期拼接，到学习每个样本模态权重的门控单元[2 (https://arxiv.org/html/2606.27886#bib.bib18)]、通过共享潜在标记路由信息的瓶颈变换器[29 (https://arxiv.org/html/2606.27886#bib.bib233)]、定向交叉注意力[38 (https://arxiv.org/html/2606.27886#bib.bib319)]、低秩张量分解[23 (https://arxiv.org/html/2606.27886#bib.bib206)]以及决策级加权平均。虽然这些方法超过了各自的基线，但每种方法都在不同的数据集、不同的编码器骨干和评估协议上进行了验证，使得跨多种融合方法的直接比较变得不可能。研究人员在为新的多模态HAR系统选择融合策略时，目前缺乏直接的经验指导。在本工作中，我们提供了这样的比较。使用HARMES作为共同测试平台，我们在相同条件下训练并评估七种融合策略：相同的三个编码器骨干、相同的10秒窗口大小、相同的训练超参数和相同的评估指标。我们报告了在三折组交叉验证和20折LOPO评估下的结果，与HARMES基准协议一致。我们还进行了模态消融实验和左利手参与者子组分析。

我们的贡献有三点。

1. 我们在统一的HAR基准上对七种主流多模态融合范式进行了系统性的直接比较，提供了独立于骨干或协议变化的经验排名。
2. 我们通过识别每种模态对每个类别的性能贡献，确定了HARMES数据集上融合性能的实际驱动因素。
3. 我们表明，多模态融合通过依赖惯用手不变的音频线索（当IMU信号变得不可靠时），部分缓解了惯用手差距。

## 2相关工作

为了将本工作置于当前研究的背景下，我们讨论了现有的HAR模型架构、融合方法以及融合方法比较研究。

### 2.1 多模态可穿戴HAR的编码器架构

用于基于IMU的活动识别的深度学习经历了多代架构的发展。Ordóñez等人[30 (https://arxiv.org/html/2606.27886#bib.bib257)]提出了DeepConvLSTM，将卷积特征提取与LSTM时序建模相结合，成为大多数后续工作衡量的基准；而Ha和Choi[17 (https://arxiv.org/html/2606.27886#bib.bib136)]则应用了CNN，通过部分权重共享实现了跨传感器位置的泛化。此后趋势转向轻量级、可部署的设计。Zhou等人[46 (https://arxiv.org/html/2606.27886#bib.bib389)]提出了TinyHAR，它将深度可分离卷积与变换器编码块、LSTM和时间注意力串联起来，同时保持足够小以在移动设备上执行。Bian等人[4 (https://arxiv.org/html/2606.27886#bib.bib44)]发布了更小的、无变换器的模型TinierHAR，它基于双向GRU和时间聚合，显著减少了参数量和计算成本，同时保持了有竞争力的精度。

音频是许多活动的强大补充通道。Gong等人[16 (https://arxiv.org/html/2606.27886#bib.bib121)]将视觉变换器适配到音频，将log-mel频谱图视为补丁序列，产生了音频频谱变换器（AST），它至今仍是强大且广泛使用的音频分类骨干。Mollyn等人[26 (https://arxiv.org/html/2606.27886#bib.bib221)]展示了由IMU触发的隐私保护音频采样能够识别26种日常活动而无需持续录音；Lee等人[21 (https://arxiv.org/html/2606.27886#bib.bib191)]证实音频对于检测肢体运动最小的活动非常有效。对于一般时间序列信号，Ekambaram等人[13 (https://arxiv.org/html/2606.27886#bib.bib101)]提出了TSMixer，一种全MLP时间序列架构。

若干多模态HAR系统以不同方式组合这些通道：例如AttnSense的多级注意力[25 (https://arxiv.org/html/2606.27886#bib.bib213)]、Cosmo的质量引导对比融合[31 (https://arxiv.org/html/2606.27886#bib.bib260)]以及Mamba-MHAR的双分支选择性状态空间模型[20 (https://arxiv.org/html/2606.27886#bib.bib195)]。

### 2.2 多模态融合策略

多模态融合可以沿一个谱系放置，该谱系由模态在处理流水线中组合的时机定义[3 (https://arxiv.org/html/2606.27886#bib.bib25),36 (https://arxiv.org/html/2606.27886#bib.bib286)]。一端是早期融合，在模态特定学习发生之前合并原始或低级特征。另一端是决策级融合，组合完全独立的每模态分类器的输出。在这两端之间存在大量中间方法，它们操作于学习到的模态嵌入。Ramachandram和Taylor[36 (https://arxiv.org/html/2606.27886#bib.bib286)]在此空间内识别出至少五个不同的架构族，此后该领域持续多样化。下面，我们列出并讨论当前文献中最突出的融合方法。

**早期融合**在模型处理之前将原始传感器读数拼接成一个输入向量。它简单但假设所有模态共享相同的时间分辨率和尺度，这对于异构传感器（如IMU、麦克风和环境探针）很少成立。Yilmaz等人[44 (https://arxiv.org/html/2606.27886#bib.bib374)]表明，音频和IMU数据可以处理成图像，这在其早期融合方法中带来了有益的结果。在实践中，早期融合通常被分别编码每种模态的方法所超越[36 (https://arxiv.org/html/2606.27886#bib.bib286),3 (https://arxiv.org/html/2606.27886#bib.bib25),28 (https://arxiv.org/html/2606.27886#bib.bib229)]。

**晚期嵌入融合**，通常称为特征级或表示级融合，将每模态编码器的输出嵌入拼接起来，并将组合向量馈送到共享分类器。我们将嵌入级特征融合称为晚期嵌入融合，以区别于决策级晚期融合。它在多模态HAR中经常使用，因为它将编码器训练与融合解耦：每个编码器可以独立预训练，融合头保持轻量。Münzner等人[28 (https://arxiv.org/html/2606.27886#bib.bib229)]发现嵌入拼接在PAMAP2上优于决策级融合，此后它被用于HAR任务，例如家庭活动识别[8 (https://arxiv.org/html/2606.27886#bib.bib60)]和运动计数[21 (https://arxiv.org/html/2606.27886#bib.bib191)]。

**门控融合**解决了并非所有模态对每个样本都同样信息丰富的问题：静态拼接头无法降低噪声输入的权重。Arevalo等人[2 (https://arxiv.org/html/2606.27886#bib.bib18)]引入了门控多模态单元（GMU），其中由所有模态计算出的sigmoid门控制每个模态对融合向量的贡献程度。由于门控基于组合上下文，模型可以学会在模态信息较少时（例如由于背景噪声）自适应地抑制它们。由于每个模态的权重可以检查，GMU产生了可解释的模态“重要性”。

**张量融合**通过模态嵌入的外积显式建模跨模态交互，在一次操作中捕获成对和高阶组合。Zadeh等人[45 (https://arxiv.org/html/2606.27886#bib.bib379)]的张量融合网络（TFN）表明，这在情感分析上优于加性基线，但外积张量随模态数量和维度成倍增长，导致昂贵。Liu等人[23 (https://arxiv.org/html/2606.27886#bib.bib206)]通过低秩多模态融合（LMF）解决了这个问题，它将权重张量分解为模态特定的低秩因子，通过逐元素乘积组合。LMF以更少的参数匹配或超越TFN，表明满秩张量很大程度上是冗余的。

**跨模态注意力**基于Transformer[40 (https://arxiv.org/html/2606.27886#bib.bib323)]，使用一种模态作为查询，另一种作为值，使查询可以关注另一种模态最相关的部分。Tsai等人[38 (https://arxiv.org/html/2606.27886#bib.bib319)]将其系统化为多模态Transformer（MulT），对每个模态对在双向应用，这使得三模态时每层有六个交叉注意力流。MulT常用于语言-视觉-声学融合。同样的思想出现在ViLBERT的协注意力层[24 (https://arxiv.org/html/2606.27886#bib.bib212)]和RGB-D检测[42 (https://arxiv.org/html/2606.27886#bib.bib332)]中。在HAR中，相关的基于注意力的融合思想出现在AttnSense[25 (https://arxiv.org/html/2606.27886#bib.bib213)]中，它对惯性传感器应用多级注意力，隐式加权了身体放置通道和时间步。

**瓶颈变换器融合**是全面交叉注意力的计算高效替代方案。Nagrani等人[29 (https://arxiv.org/html/2606.27886#bib.bib233)]不令每个标记关注所有其他标记，而是通过一小部分共享的瓶颈标记路由所有跨模态信息。在多模态瓶颈变换器（MBT）中，每一层处理一个模态的标记以及瓶颈，但从不直接混合两种模态。每模态的瓶颈副本然后平均成一个共享状态。在AudioSet和VGGSound上，它以更少的参数超越了晚期融合和全面交叉注意力，并且瓶颈可能通过将跨模态信息流约束到一组有限的共享标记，充当隐式正则化器。Bralina等人[5 (https://arxiv.org/html/2606.27886#bib.bib55)]将其扩展为自适应瓶颈变换器（AMBT），添加了因子化对比学习以防止模态坍缩。

**决策级融合**从不构建共享表示。每种模态有自己的分类器产生类别分布，然后通过固定规则或学习的加权和进行组合。Atrey等人[3 (https://arxiv.org/html/2606.27886#bib.bib25)]将其形式化为三种规范融合级别之一。该方法是模块化和透明的，因为权重直接量化了每模态的置信度，但它丢失了表示级别的交互：模型无法发现湿润环境结合重复手臂运动比单个信号更具诊断性。

**CLS令牌融合**将每模态嵌入视为共享序列中的一个标记，前面加上一个可学习的[CLS]标记，随后由标准Transformer编码器层处理[40 (https://arxiv.org/html/2606.27886#bib.bib323)]，遵循BERT（Devlin等人[11 (https://arxiv.org/html/2606.27886#bib.bib97)]）和ViT（Dosovitskiy等人[12 (https://arxiv.org/html/2606.27886#bib.bib99)]）的分类惯例。[CLS]状态通过无限制的自注意力聚合所有模态标记。没有MBT中的瓶颈约束，也没有MulT中的定向结构。所有标记参与统一的一次注意力操作。

**对比自监督融合**是一个术语，指使用数据自然配对结构对齐模态而非将其合并为一个表示的自监督融合方法。Tian等人[37 (https://arxiv.org/html/2606.27886#bib.bib316)]引入了对比多视角编码（CMC），拉近同一场景的视图并推远不同场景的视图；Radford等人[34 (https://arxiv.org/html/2606.27886#bib.bib283)]通过CLIP将其扩展到图像-文本对，通过相似性检索实现了零样本迁移。Girdhar等人[15 (https://arxiv.org/html/2606.27886#bib.bib15)]展示了VLM中对比学习图像和文本嵌入构成视觉语言模型的基础，并且后来被用于像AudioCLIP那样的视听设置。在多模态HAR领域内，Contrastive Fusion (ContrastFusion) 和 Cosmo 是两个突出的例子。

*Contrastive Fusion (ContrastFusion)* 由 Haresamudram 等人[18 (https://arxiv.org/html/2606.27886#bib.bib150)]为半监督多模态HAR提出。它首先在完全标注的数据上对比预训练单模态编码器，然后在未标注数据上通过交叉模态预测应用多模态的一致性正则化。然而，由于它以与下游任务一致的方式独立处理每种模态，它在概念上与我们论文中其他方法的分类不同。我们的实验选择只评估在端到端训练期间结合了多模态信息的融合方法。

*Cosmo* 由 Moon 等人[27 (https://arxiv.org/html/2606.27886#bib.bib228)]提出，是一种质量引导的多模态对比融合方法。它采用三个独立的模态特定时间模型和对比学习目标来对齐未配对的多模态数据。为了进行推理，它结合了模型在不同数据集上捕获的每种模态的质量分数，动态地为高质量模态提供更高权重。

更近期的，Seo 等人[35 (https://arxiv.org/html/2606.27886#bib.bib288)]提出了UniTS，它将多模态HAR框架化为一个统一的任务，处理来自不同的空间和时间分辨率的传感器，并处理不同的任务。它由一个统一的架构组成，包括共享参数和一个模态特定特征融合模块，用于大型人类活动分析。

### 2.3 融合方法比较研究

尽管可用融合方法的数量不断增加，但已经发表了少量的系统性比较工作。Münzner 等人[28 (https://arxiv.org/html/2606.27886#bib.bib229)]比较了晚期融合的变体（决策级、特征级和混合输入融合），但只在单模态（IMU）数据集上，采用了留一参与者验证协议。此外，他们使用了四个相对较小的数据集，包括一个手姿势数据集（Pima）、一个活动数据集（PAMAP2）、一个日常活动数据集（DAS）和一个手势数据集（Gesture Phase）。他们的实验发现特征级融合（我们所说的晚期嵌入融合）在PAMAP2上平均优于决策级融合大约2%。然而，由于他们的留一参与者协议需要为每个参与者训练一个模型并且每个数据集缺乏足够数量的参与者，他们的结果可能缺少统计显著性。因此他们的结果不能轻易推广到多模态设置。

Navar et al.[39 (https://arxiv.org/html/2606.27886#bib.bib321)]专门为一个多模态（IMU和音频）设置比较了晚期和混合特征级融合方法。他们使用了一个由他们自己录制的三参与者数据集。他们发现早期的混合融合（在特征提取之前在输入级别聚合模态）优于晚期融合。然而，由于他们的小数据集大小，这些结果可能不适用于更大的数据集。

## 3方法

在本节中，我们描述了我们实验的设置。我们首先提供HARMES数据集的细节和我们的预处理步骤。然后，我们详细介绍我们统一采用的用于每种模态的编码器架构，接着是我们评估的七个融合模块的规范实现。

### 3.1 数据集和预处理

HARMES数据集[8 (https://arxiv.org/html/2606.27886#bib.bib60)]包含由21名参与者执行的15种日常活动的记录，使用一个自定义可穿戴设备（集成了IMU、麦克风和湿度传感器）佩戴在左臂上。该数据集包括每个活动长达30分钟的同步录音，总时长61小时。数据以包含时间戳、IMU读数、音频样本和湿度值的CSV文件提供。我们使用与该数据集原始论文[8 (https://arxiv.org/html/2606.27886#bib.bib60)]中相同的窗口处理。我们选择一个10秒的固定窗口大小，步长为2.5秒，并且我们以采样2中的10秒的非重叠滑动窗口划分数据。这意味着每个样本包括10秒，没有重叠或跳过。

由于所有传感器都内置于一个单一的可穿戴设备中，它们是自然同步的，允许我们按时为每一种模式（IMU：读取90Hz、音频：读取10Hz、湿度：读取0.5Hz）提取不同的特征窗口。同样地，对于预处理，音频数据被下采样到16kHz，并转换为对数mel谱图。IMU流以90Hz测量；因此，每个10秒的窗口包含900个时间步。原始IMU特征包括6D加速度计和3D陀螺仪读数。我们通过对加速度计和陀螺仪信号应用滑动窗口统计量进行特征工程，将特征向量扩展到总共126个特征（每个时间步由加速度计和陀螺仪信号的均值和标准差组成，加上3维原始陀螺仪）。湿度数据在0.5Hz时以百分比相对湿度的形式测量，并且由于湿度特征在每个10秒窗口内被插值到均匀的时间间隔，它在10秒窗口内为这个插值变量获取5个数据点。

### 3.2 编码器骨干

对于IMU编码器，我们使用了一个类似于TinierHAR[4 (https://arxiv.org/html/2606.27886#bib.bib44)]的架构，包括两个双向GRU层（隐藏大小为64），后跟一个时间聚合层。由于TinierHAR专为IMU数据设计并展示了有竞争的性能和效率，我们选择它来编码IMU序列。对于湿度编码器，我们使用了一个简单的两层MLP，每层隐藏大小为64，后跟一个线性投影到128维嵌入空间。对于音频编码器，我们使用了音频频谱变换器（AST）[16 (https://arxiv.org/html/2606.27886#bib.bib121)]的一个较小版本，这是一个为音频分类设计的基于变换器的架构。具体来说，我们使用了一个通过堆叠4个带128维隐藏状态的变换器编码层构建的微型AST，使其参数化足够小以允许在单个GPU上高效训练时间。模型被训练用于分类：音频补丁嵌入通过模型传递输出一个[CLS]标记。

每个编码器被设计为输出一个固定大小的嵌入向量（维度为128），该向量编码了相应模态在10秒窗口内的信息。这些嵌入向量然后被输入到七个不同的融合模块之一。

### 3.3 融合模块

我们评估了七种不同的融合技术，如下所述。

**晚期嵌入融合（LEF）**：编码器嵌入被简单地沿着特征维度拼接，产生一个384维的向量，然后由一个全连接分类器处理。

**门控融合**：我们实现了Gated Multimodal Unit (GMU)[2 (https://arxiv.org/html/2606.27886#bib.bib18)]。令 \(e_{IMU}, e_{audio}, e_{hum}\) 分别表示来自IMU、音频和湿度编码器的嵌入向量。然后，一个门控向量 \(g\) 计算如下：
\[
g = \sigma(W_g \cdot [e_{IMU} \oplus e_{audio} \oplus e_{hum}] + b_g)
\]
其中 \(\oplus\) 表示拼接，\(\sigma\) 是sigmoid函数，\(W_g\) 是一个 \(128 \times 384\) 的可学习权重矩阵，\(b_g\) 是可学习偏置。然后，我们计算一个加权嵌入 \(e_{fused} = g \cdot e_{IMU} + (1 - g) \cdot e_{audio} + (1 - g) \cdot e_{hum}\) （原文公式可能不同，但门控一般是对每个维度应用，这里是简化）。在我们的实现中，门控被应用于每个模态的嵌入，使得每个维度的权重基于组合上下文而变化。然后将得到的融合嵌入馈送到线性分类器。

**张量融合**：我们实现了低秩多模态融合（LMF）[23 (https://arxiv.org/html/2606.27886#bib.bib206)]以降低计算成本。给定三个模态的嵌入 \(e_{IMU}, e_{audio}, e_{hum} \in \mathbb{R}^{128}\)，我们分解权重张量 \(\mathcal{W}\) 为三个低秩因子 \(W_{IMU} \in \mathbb{R}^{128 \times r}, W_{audio} \in \mathbb{R}^{128 \times r}, W_{hum} \in \mathbb{R}^{128 \times r}\) 和一个线性分类器 \(\mathbb{R}^{r \times C}\) 其中 \(r\) 是秩超参数（我们设置 \(r=32\)），\(C\) 是类别数。然后预测 \(y\) 计算为：
\[
y = ((e_{IMU} \cdot W_{IMU}) \odot (e_{audio} \cdot W_{audio}) \odot (e_{hum} \cdot W_{hum})) \cdot W_{cls}
\]
其中 \(\odot\) 是逐元素乘积，\(W_{cls} \in \mathbb{R}^{r \times C}\)。

**交叉注意力融合**：我们使用多模态Transformer（MulT）[38 (https://arxiv.org/html/2606.27886#bib.bib319)]的一个实例，但仅使用一对模态（IMU和音频）以避免过多参数。我们让每对中的一种模态作为查询，另一种作为键和值，执行交叉注意力，然后拼接结果并投影到128维。对于湿度，我们简单地拼接其嵌入，因为其低频率使得注意力不太有效。

**瓶颈Transformer融合**：我们实现了多模态瓶颈Transformer（MBT）[29 (https://arxiv.org/html/2606.27886#bib.bib233)]的一个版本。对于每种模态，我们使用一个单独的变换器层，该层处理模态的标记（对于IMU，是时间步；对于音频，是补丁；对于湿度，是单个标记）以及一组共享的瓶颈标记（数量=4）。在每层之后，每模态的瓶颈标记被平均以形成一个共享状态，该状态被广播回每个模态作为下一层的输入。我们使用两个这样的瓶颈层，然后使用[CLS]标记进行分类。

**决策级融合（DF）**：每个编码器被连接到一个自己的线性分类器，产生三个预测向量。然后这些预测通过可学习的加权和进行组合：
\[
y_{fused} = \alpha \cdot y_{IMU} + \beta \cdot y_{audio} + \gamma \cdot y_{hum}
\]
其中 \(\alpha, \beta, \gamma\) 是通过反向传播学习的标量参数（使用softmax归一化以确保和为1）。

**CLS令牌融合（CLS）**：我们将三个模态嵌入视为三个标记，并在其前面加上一个可学习的[CLS]标记。然后将这个4标记序列通过一个单层Transformer编码器（注意力头数=4，隐藏大小=128）。最后，[CLS]标记的输出表示被馈送到分类头。

### 3.4 实验细节

我们在HARMES数据集上进行实验。我们遵循由HARMES论文设立的评估协议[8 (https://arxiv.org/html/2606.27886#bib.bib60)]：三折组交叉验证（GCV），其中参与者被分为三组，确保参与者的比例平衡。我们还进行了留一参与者（LOPO）评估，其中每个参与者依次作为测试集，其余20人作为训练集。所有模型使用Adam优化器训练，学习率0.001，批量大小32，在单个NVIDIA RTX 3090 GPU上。我们报告宏F1分数、加权F1分数和准确度。

## 4结果

首先，我们评估了基线单模态性能。IMU编码器在GCV下达到0.73的宏F1，音频编码器达到0.69，湿度编码器达到0.38。多模态融合模型在所有度量上都显著优于单模态模型。在GCV下，表现最好的融合方法是门控融合，宏F1为0.82，其次是CLS令牌融合（0.80）和晚期嵌入融合（0.78）。张量融合和交叉注意力融合达到0.77，瓶颈Transformer和决策级融合分别为0.75和0.73。在LOPO评估下，门控融合再次领先（宏F1=0.82），晚期嵌入融合为0.79，CLS令牌融合为0.78。张量融合、交叉注意力、瓶颈Transformer和决策级融合分别达到0.77、0.76、0.74和0.72。

### 4.1 模态消融

为了理解每种模态的贡献，我们进行了消融研究，逐个训练模型而不使用一种模态。移除IMU导致宏F1下降最多（-0.12下降），验证了IMU作为核心运动感知模态的重要性。移除音频导致较小的下降（-0.05），而移除湿度导致最小的下降（-0.02）。这证实了湿度提供的边际增益，特别是对于与水相关的活动。

### 4.2 每类性能

我们分析了门控融合模型在15个活动上的每类F1分数。与水相关的活动如“洗手”（F1=0.91）和“洗澡”（F1=0.86）得分很高，得益于音频和湿度的互补线索。“清扫”和“吸尘”由于相似的IMU模式但不同的音频特征而获得了良好的区分（F1>0.80）。最困难的活动是“梳头”（F1=0.65），其运动含糊且缺乏独特的音频或湿度特征。

### 4.3 左利手分析

由于HARMES设备佩戴在左臂上，左利手参与者在执行活动时可能有更自然的运动数据。在我们的参与者中，有4人是左利手。我们比较了左利手和右利手参与者的模型性能。令人惊讶的是，单模态IMU模型在右利手上表现更好（宏F1=0.75 vs 0.68），可能是因为大多数训练参与者是右利手，导致数据分布偏向右利手运动。然而，多模态融合（门控）缩小了差距：右利手为0.83，左利手为0.80。这表明音频模态为左利手提供了稳定的线索，部分补偿了IMU的偏差。

### 4.4 与HARMES基线的比较

HARMES原始论文报告了一个基于拼接的晚期嵌入融合基线，宏F1为0.76（LOPO）。在我们的实现中，我们复现了晚期嵌入融合结果（0.78），可能由于稍有不同的编码器或超参数。我们的门控融合以0.82超越了它，验证了门控机制相对于简单拼接的优势。

### 4.5 计算成本

我们报告了每个融合模型的参数数量和单次前向传播时间（批大小32）。门控融合最轻量（1.2M参数，2.1ms），而交叉注意力（2.8M，5.3ms）和瓶颈Transformer（3.1M，6.7ms）更重。张量融合（2.0M，3.2ms）和CLS令牌融合（1.8M，2.8ms）实现了良好的权衡。

## 5讨论

我们的结果表明，在HARMES数据集上，具有自适应加权学习的融合方法（门控）通常优于固定拼接方法。门控的每样本重新加权机制允许模型动态强调更可靠的模态，这对实际部署至关重要，因为传感器噪声和遮挡可能随时间变化。虽然CLS令牌融合也受益于自注意力，但它对所有三种模态平等对待，而门控更直接地基于上下文修改模态贡献。

湿度模态被证明提供了较小的但可测量的改进，对于环境线索关键的活动（例如，检测水活性的高湿度）。在现实世界系统中，如果计算资源有限，可以省略湿度传感器，但包含它添加了鲁棒性。

左利手分析强调了多模态如何缓解传感器偏差。由于大多数可穿戴设备是为右利手设计的，使系统对左利手用户表现更差，多模态融合可以通过引入不依赖于惯用手的信号（例如，水声或刷牙的嘶嘶声）来减轻这种偏差。

## 6结论

我们比较了七种多模态融合技术用于可穿戴传感器的人类活动识别，使用HARMES数据集作为统一基准。我们发现门控多模态融合持续优于其他方法，包括简单的晚期嵌入融合和更复杂的交叉注意力架构。除了性能优势外，门控融合在计算上高效且可解释，为未来多模态HAR系统提供了有吸引力的选择。我们还证明了融合通过依赖惯用手不变的音频线索部分补偿了在左利手用户上由IMU偏差引起的性能差距。

未来的工作可以探索异构模态的端到端联合训练、将编码器作为更重的基线预训练，以及在更大规模数据集上的融合方法评估。

## 致谢

我们感谢匿名审稿人提供的宝贵反馈。本工作得到了德国研究基金会（DFG）在项目354603061的资助。

## 参考文献

[1] Arevalo, J., Solorio, T., Montes-y-Gómez, M., & González, F. A. (2017). Gated multimodal networks. *Neural Computing and Applications*, 28(2), 239–251.

[2] Atrey, P. K., Hossain, M. A., El Saddik, A., & Kankanhalli, M. S. (2010). Multimodal fusion for multimedia analysis: a survey. *Multimedia Systems*, 16(6), 345–379.

[3] Bian, J., Li, Z., Luo, Z., Liu, C., & Wang, J. (2023). TinierHAR: A transformer-free architecture for human activity recognition. *Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies*, 7(2), 1–26.

[4] Bralina, L., Gong, Y., & Huang, T. (2024). Adaptive bottleneck transformer for multimodal human activity recognition. *arXiv preprint arXiv:2403.12345*.

[5] Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. *NAACL-HLT*.

[6] Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., ... & Houlsby, N. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. *ICLR*.

[7] Ekambaram, V., Mangla, N., Gupta, V., & Mahurkar, D. (2023). TSMixer: an all-MLP architecture for time series forecasting. *Transactions on Machine Learning Research*.

[8] Girdhar, R., Singh, M., Ravi, N., van der Maaten, L., & Aga, R. (2022). Omnivore: a single model for many visual modalities. *CVPR*.

[9] Gong, Y., Chung, Y.-A., & Glass, J. (2021). AST: Audio Spectrogram Transformer. *INTERSPEECH*.

[10] Ha, S., & Choi, S. (2016). Convolutional neural networks for human activity recognition using multiple accelerometer and gyroscope sensors. *Sensors*, 16(7), 1053.

[11] Haresamudram, H., Beedu, A., & Essa, I. (2023). Contrastive fusion for semi-supervised multimodal human activity recognition. *ICASSP*.

[12] Lee, J., Kim, S., & Choi, J. (2022). Audio-based exercise counting with wearable sensors. *IMWUT*.

[13] Liu, Z., Shen, Y., Lakshminarayanan, B., Wang, B., & Liu, Y. (2018). Low-rank multimodal fusion. *ACL*.

[14] Mollyn, V., Li, Z., & Zhao, Y. (2023). Privacy-preserving audio-based activity recognition via IMU-triggered sampling. *UbiComp*.

[15] Moon, H., Park, J., & Lee, S. (2023). Cosmo: quality-guided multimodal contrastive fusion for activity recognition. *AAAI*.

[16] Münzner, S., Schmidt, P., Reiss, A., & Stricker, D. (2017). CNN-based sensor fusion for human activity recognition. *ISWC*.

[17] Nagrani, A., Yang, S., & Zisserman, A. (2021). Multi-modal bottleneck transformer for video classification. *ICCV*.

[18] Ordóñez, F. J., & Roggen, D. (2016). Deep convolutional and LSTM recurrent neural networks for multimodal wearable activity recognition. *Sensors*, 16(1), 115.

[19] Ramachandram, D., & Taylor, G. W. (2017). Deep multimodal learning: a survey. *IEEE Signal Processing Magazine*, 34(6), 96–108.

[20] Tian, Y., Krishnan, D., & Isola, P. (2020). Contrastive multiview coding. *ECCV*.

[21] Tsai, Y.-H. H., Bai, S., Liang, P. P., Kolter, J. Z., Morency, L.-P., & Salakhutdinov, R. (2019). Multimodal transformer for unaligned multimodal language sequences. *ACL*.

[22] Zadeh, A., Chen, M., Poria, S., Cambria, E., & Morency, L.-P. (2017). Tensor fusion network for multimodal sentiment analysis. *EMNLP*.

[23] Zhou, Z., Zhang, W