STELLA: 面向设备端人体活动识别的高效传感器到LLM翻译框架

# STELLA：面向设备端人体活动识别的传感器到语言模型高效翻译框架

来源：https://arxiv.org/html/2607.03089，Albert Zomaya 悉尼大学 澳大利亚，Kanchana Thilakarathna 悉尼大学 澳大利亚

###### 摘要。人体活动识别（HAR）日益需要在边缘设备上持续运行，然而近期基于大语言模型（LLM）的方法仍难以部署：原始传感器提示词过长，云端推理增加延迟和隐私风险，而微调后的LLM流水线将通用模型转变为特定任务的分类器。我们提出STELLA，一种面向设备端HAR的高效传感器到语言模型翻译框架，它将负担从LLM适配转移到传感器分词化上。一个轻量级的分层分词器将整个多通道惯性窗口压缩为一组固定的紧凑潜在传感器标记，这些标记被投影到冻结的预训练LLM的嵌入空间中，并与自然语言提示组合进行标签评分。这保留了与活动相关的时间和多通道结构，同时使LLM侧的计算在不同传感器配置下保持可预测。STELLA还支持设备端个性化，仅在小量用户标注数据上适配轻量级分词器，并通过本地检索上下文增强推理，将LLM、用户数据和检索全部保留在设备上。在七个公开HAR数据集和八个基准测试设置中，STELLA实现了新的最先进性能，相比先前方法，F1分数最高提升11.83%；设备端个性化在部署后随着用户数据积累，进一步提升了高达21.91%的F1分数。STELLA在相同的LLM流水线下也优于有代表性的时间序列分词器，并在实际移动和边缘预算下实现实时推理，表明高效传感器分词化是在边缘设备上实现准确、私密且个性化的基于LLM的HAR的实用路径。大语言模型，人体活动识别，设备端个性化，传感器分词器，语言对齐

## 1. 引言

基于惯性测量单元（IMU）传感器的人体活动识别（HAR）是移动和普适计算应用的核心组成部分，包括健康监测（Liaqat et al., 2019 (https://arxiv.org/html/2607.03089#bib.bib22)）、康复（Panwar et al., 2019 (https://arxiv.org/html/2607.03089#bib.bib26)）、健身追踪（Bachlin et al., 2009 (https://arxiv.org/html/2607.03089#bib.bib5)）、智能环境以及工业传感（Grzeszick et al., 2017 (https://arxiv.org/html/2607.03089#bib.bib9)）。现代智能手机、智能手表和可穿戴设备不断捕获加速度计、陀螺仪和磁力计信号，无需用户明确输入即可实现对人类行为的细粒度理解。随着这些设备能力日益增强，HAR系统不仅需要准确，还需要足够高效，以便在资源受限的边缘设备上实时执行。它们还必须在部署后进行适配：由于步态、速度、姿势、设备放置和执行方式的差异，同一活动在不同用户身上可能产生不同的运动特征（Sivaroopan et al., 2025 (https://arxiv.org/html/2607.03089#bib.bib31)）。

多年来，深度学习一直是基于传感器的HAR的主导范式。CNN（Zeng et al., 2014 (https://arxiv.org/html/2607.03089#bib.bib39)）、循环网络（Guan and Plötz, 2017 (https://arxiv.org/html/2607.03089#bib.bib10)）和基于注意力的模型（Ahmad and Leung, 2023 (https://arxiv.org/html/2607.03089#bib.bib3)）通过直接从标注的传感器窗口中学习判别性模式，取得了强劲的结果。然而最近，大语言模型（LLM）通过提供强大的序列建模能力、语义先验以及关于任务描述和标签空间的灵活推理（Sivaroopan et al., 2025 (https://arxiv.org/html/2607.03089#bib.bib31)），重塑了广泛的机器学习问题。这些能力对于HAR尤其有吸引力：诸如跑步、骑行或熨烫等活动标签并非任意的类别ID，而是人类运动的语义描述。这开辟了一个新的机遇：不再将HAR纯粹视为闭集信号分类，而是可以将活动识别表述为一个传感器到语言的推理问题，其中传感器观测结果在自然语言活动描述的上下文中被解释（Ji et al., 2024 (https://arxiv.org/html/2607.03089#bib.bib17)）。

早期基于LLM的HAR研究（Ji et al., 2024 (https://arxiv.org/html/2607.03089#bib.bib17)；Sivaroopan et al., 2025 (https://arxiv.org/html/2607.03089#bib.bib31)；Hota et al., 2025 (https://arxiv.org/html/2607.03089#bib.bib15)）证实了这一方向的潜力：LLM可以从传感器导出的提示词中标注活动，利用其关于人类行为的预训练知识，并在多种HAR设置中泛化。然而，它们的成功也暴露了一个更深的障碍，这在设备端变得具有决定性，其根源在于一个单一的不匹配：LLM是为在短序列的离散语言标记上进行推理而构建的，而一个活动窗口的时间序列传感器数据流则是一个长且多通道的连续浮点数值流。这一不匹配表现为三个具体问题。

*\(i\) 将窗口序列化为文本既低效又昂贵。* 数值数组对于文本分词器来说是陌生的，分词器会将每个值分割成许多子标记，模型对这些子标记的推理效果不佳（Spathis and Kawsar, 2024 (https://arxiv.org/html/2607.03089#bib.bib32)）；并且单个窗口已经包含数百到数千个跨通道的标量值，因此生成的提示词非常长。这样的提示词会膨胀LLM的二次注意力成本和KV缓存内存，使延迟和内存占用超出边缘计算和内存预算的允许范围。

*\(ii\) 适配LLM本身是以通用性换取任务特定模型。* 微调或以手术方式重写LLM以使其直接接收传感器输入，会将一个通用模型转变为HAR专用分类器；在边缘设备上，这是适得其反的，因为每个新的传感任务都需要它自己的专门模型，而托管多个这样的模型会超过手机和可穿戴设备的内存和计算能力，这些设备实际上只能运行一个本地LLM。

*\(iii\) 将计算卸载到云端会破坏部署保证。* 将传感器数据发送到托管的LLM避免了设备端的成本，但重新引入了网络依赖性和无界延迟，这会破坏实时操作（Sivaroopan et al., 2025 (https://arxiv.org/html/2607.03089#bib.bib31)），同时将行为敏感的传感器数据流式传输到设备外会引发明显的隐私问题（Yang et al., 2024 (https://arxiv.org/html/2607.03089#bib.bib38)）。

这些障碍共同指出了设备端基于LLM的HAR应该走向何方。边缘平台越来越多地托管一个单一的小型通用LLM，作为共享的系统级服务，用于文本、语音和多模态推理，而添加HAR的自然方式是将传感器作为该共享模型的另一种模态，而不是压缩它、重写它、为每个任务复制它，或者将数据运送到云端。所缺少的是一个高效的**传感器到LLM接口**：一个紧凑的前端，将原始的多通道窗口翻译成一个短的、与语言模型兼容的表示，供冻结的LLM使用，同时保留与活动相关的时间和多通道结构，并保持LLM的通用性和可重用性。换句话说，高效的设备端基于LLM的HAR不应从压缩或重写LLM开始，而应从学习如何良好地对传感器数据进行分词化开始（Li et al., 2025 (https://arxiv.org/html/2607.03089#bib.bib21)）。

在本文中，我们提出STELLA：面向边缘LLM活动识别的传感器分词化，一种高效的传感器到LLM翻译框架，用于设备端HAR。核心思想是一个轻量级的传感器分词器，它将原始多通道窗口转换为一组紧凑的潜在传感器标记；一个浅层投影然后将这些标记映射到预训练LLM的嵌入空间中，在那里它们与一个自然语言任务提示相结合，以便LLM可以通过语言模型似然来评分候选活动标签。LLM不再处理原始的数值流，而是接收一个短的、语义丰富的标记序列，而学习到的前端则完成所有传感器特定的工作。此设计针对三个目标：推理成本应由学习到的标记预算控制，而不是原始窗口长度；标记应保留多尺度的运动结构，捕获诸如步态瞬变等局部基元和诸如周期性步态等较长范围的动态；LLM应保持为一个冻结的、可重用的推理后端，而不是为单一的HAR配置进行修改。

同样的设计也支持设备端个性化：部署后，仅使用少量用户标注数据适配轻量级的传感器侧模块，而LLM保持冻结和可重用。我们在七个公开HAR数据集上跨八个基准测试设置评估STELLA，涵盖6到60个传感器通道、6到18个活动类别，覆盖运动、日常生活活动、锻炼和工业手势。STELLA在每个基准测试上都取得了新的最优（SOTA）性能，在最强先前方法的基础上平均提升约5.5个准确率点和3.6个F1点，最大的增益出现在低通道的单IMU数据集上，即使在先前方法已表现强劲的接近饱和的基准测试中也有持续改进。通过设备端个性化，仅适配轻量级分词器并结合本地检索上下文，将最难测试对象从71% F1提升到93% F1，同时增加不到1毫秒的检索开销。两项进一步的研究证明了STELLA为何有效且可部署。首先，在固定的冻结LLM流水线和匹配的标记预算下，STELLA分词器优于有代表性的SOTA时间序列编码器，表明增益来自学习到的传感器到LLM翻译层，而非通用时间序列编码。其次，设备端可行性分析表明，STELLA在实际移动和边缘预算内实现了实时推理：由于每个窗口被压缩为固定标记集，LLM侧的计算在通道数和窗口长度变化时保持可预测，并且由于推理和个性化在本地运行，传感器数据和用户特定上下文永远不会离开设备。

总之，本文做出以下贡献：

- •**将高效的设备端基于LLM的HAR重新定义为传感器分词化问题。** 先前的工作要么提示云端LLM，要么将LLM压缩或微调成任务特定模型，从而牺牲了隐私、可预测的延迟或通用可重用性。我们反而认为真正的瓶颈在于**传感器到LLM接口**，并在传感器侧完全解决效率问题，以便HAR可以作为另一种输入模态附加到共享的本地LLM上，而不是作为一个单独的、微调的模型栈。
- •**一个时分层的分词器，将LLM成本与传感器配置解耦。** STELLA-Tower将**整个**多通道窗口**联合地**压缩为一组固定的N=16个潜在标记，通过局部时间混合、渐进下采样和多尺度聚合，而不是单独对每个通道进行分词化。由于标记预算固定，LLM侧的计算和延迟变得与通道数和窗口长度无关（比逐标量编码的标记数减少多达262.5倍）。
- •**轻量级、私密的设备端个性化。** 部署后，STELLA仅适配分词器（约10%的参数）到用户，并通过本地检索记忆增强推理，该记忆随着分词器的演变而重新编码。这使最难测试对象的F1分数最多提高了+21.91，检索开销小于1毫秒，同时LLM保持冻结，所有用户数据和上下文保留在设备上。
- •**可设备端部署的最先进精度。** 在七个数据集和八个基准测试设置中，STELLA仅使用冻结的GPT-2骨干网络，实现了新的SOTA（F1最高提升+11.83），超越了基于更大LLM的方法。在匹配的流水线和标记预算下，它同样优于有代表性的时间序列分词器。关键的是，它在从服务器GPU到商用智能手机CPU的整个硬件范围内，在实用的流式步进预算下实现了实时运行。

*通过将基于LLM的HAR的困难从语言模型转移到传感器接口，STELLA取得了显著成效：每个窗口仅需十六个紧凑标记，一个单一的冻结、未修改的GPT-2就在多样化的基准测试设置中树立了新的SOTA，超越了基于规模大数个数量级的LLM的流水线，在商用智能手机上实时运行，并且无需任何数据离开设备即可为个体用户进行个性化。据我们所知，STELLA是首个同时满足边缘可部署、配置不变和可在设备端个性化的基于LLM的HAR框架，将HAR转变为一种轻量级、私密的模态，可以插入边缘平台已运行的共享本地LLM，而不是又一个需要部署和维护的任务特定模型。*

## 2. 相关工作

### 2.1. 深度学习用于HAR

基于传感器的HAR长期以来被研究为一种基于可穿戴和移动信号的时间序列分类问题。早期的深度学习方法使用CNN从原始惯性数据中学习局部时间模式（Zeng et al., 2014 (https://arxiv.org/html/2607.03089#bib.bib39)），而循环模型如LSTM和GRU则捕获活动窗口中的序列依赖关系（Guan and Plötz, 2017 (https://arxiv.org/html/2607.03089#bib.bib10)；Hammerla et al., 2016 (https://arxiv.org/html/2607.03089#bib.bib11)），混合架构如DeepConvLSTM将两者结合（Ordóñez and Roggen, 2016 (https://arxiv.org/html/2607.03089#bib.bib25)）。更近期的系统采用注意力机制、Transformer风格架构、对比学习和度量学习、领域自适应以及基于增强的训练，以改善跨用户、设备和传感器放置的活动表示（Khaertdinov et al., 2021 (https://arxiv.org/html/2607.03089#bib.bib18)；Hermans et al., 2017 (https://arxiv.org/html/2607.03089#bib.bib13)；Abedin et al., 2021 (https://arxiv.org/html/2607.03089#bib.bib2)；Ahmad and Leung, 2023 (https://arxiv.org/html/2607.03089#bib.bib3)；Zhao et al., 2020 (https://arxiv.org/html/2607.03089#bib.bib41)；Haresamudram et al., 2023 (https://arxiv.org/html/2607.03089#bib.bib12)）。与此同时，大语言模型（LLM）在许多序列理解和推理任务上超越了传统深度模型，促使HAR社区探究它们的语义知识和序列建模能力是否也能使HAR受益。

### 2.2. LLM用于HAR

越来越多的研究探索将LLM用于HAR及相关可穿戴传感。关键动机是语义性的：诸如“走上楼”或“吸尘”等活动标签本身就是自然语言中已表示的身体行为，因此LLM有可能将低层传感器证据连接到高层活动语义。HARGPT（Ji et al., 2024 (https://arxiv.org/html/2607.03089#bib.bib17)）直接用传感器读数提示LLM进行零样本识别，而其他工作则使用学习到的活动嵌入（Hota et al., 2025 (https://arxiv.org/html/2607.03089#bib.bib15)）、个性化可穿戴推理（Khasentino et al., 2025 (https://arxiv.org/html/2607.03089#bib.bib19)）以及基于LLM的活动事件情境化（Post et al., 2025 (https://arxiv.org/html/2607.03089#bib.bib28)；Civitarese et al., 2025 (https://arxiv.org/html/2607.03089#bib.bib2)）