基于基础模型的检索增强个性化在可穿戴压力检测中的应用

# 基于检索增强的基础模型可穿戴压力检测个性化方法
来源: https://arxiv.org/html/2606.24985
Louis Simon 索邦大学智能系统与机器人研究所 法国巴黎 louis\.simon@isir\.upmc\.fr &Mohamed Chetouani 索邦大学智能系统与机器人研究所 法国巴黎 mohamed\.chetouani@isir\.upmc\.fr

###### 摘要

可穿戴压力检测中的个性化仍因个体间显著的生理与行为反应差异而充满挑战。传统方法依赖用户专属微调或在大规模数据集上进行昂贵的自监督预训练，我们则提出一种基于检索增强的轻量级个性化方案。我们的方法利用冻结的、跨领域基础模型，从目标用户的历史数据中检索相似模式，并将其编码为紧凑的个性化嵌入，进而调节由轻量级Transformer网络提取的表征。我们在包含N=15名用户的WESAD压力检测数据集上进行评估（数据包括手腕佩戴的生理信号EDA、BVP、温度以及活动信号加速度计），结果显示，相较于非个性化的Transformer基线，准确率提升+3.92%，宏平均F1分数提升+4.76%，接近监督微调性能，且无需任何带标签的用户数据。我们进一步证明，当仅能使用用户先前的样本进行时序检索时，其性能接近完整的用户内部检索，显示出对有限用户历史数据的鲁棒性。最后，我们探索了跨数据集检索场景下的个性化，利用K-Emocon数据集的嵌入来调节WESAD数据集上压力检测的表征。

*关键词*个性化，基础模型，情感计算

## 1 引言

个性化是指根据个体的档案、偏好或行为来调整模型输出的过程。在情感计算语境下，个性化涉及考虑个体在表达情绪或经历压力时的行为差异（Li等，2023 (https://arxiv.org/html/2606.24985#bib.bib163)；Han等，2024 (https://arxiv.org/html/2606.24985#bib.bib20)）。这些个体差异可能源于年龄、性别、文化、性格等多种因素，也可能源于更复杂且难以揭示的行为或生理差异。情感计算中的个性化技术常利用目标用户少量带标签数据来训练、微调或选择模型（Behinaein等，2021 (https://arxiv.org/html/2606.24985#bib.bib95)；Taylor等，2020 (https://arxiv.org/html/2606.24985#bib.bib92)；Yu等，2021 (https://arxiv.org/html/2606.24985#bib.bib111)）。虽然高效，但这类方法需要标注的用户数据，在某些场景下可能无法获得。随着Transformer和基础模型的出现，越来越多研究者转向通用模型以应对个体间高变异性的数据集（Erturk等，2025 (https://arxiv.org/html/2606.24985#bib.bib14)；Pillai等，2024 (https://arxiv.org/html/2606.24985#bib.bib11)；Yuan等，2024 (https://arxiv.org/html/2606.24985#bib.bib10)）。这种方法依赖于大规模预训练模型表征模式并捕捉不变性的能力，从而减少个体差异带来的变异性。多项研究证明了生理数据上的自监督预训练在各类情感计算下游任务中的有效性（Wu等，2024 (https://arxiv.org/html/2606.24985#bib.bib137)；Dissanayake等，2022 (https://arxiv.org/html/2606.24985#bib.bib138)）。然而，预训练此类模型成本高昂，需要大规模数据集，而这些数据集相对于现代图像或文本预训练数据集仍然较小。最后，研究往往未能报告有意义的个性化指标，特别是在评估个体用户时，大多数指标仅报告所有用户的平均性能。在本工作中，我们提出利用基础模型所学表征的方法。许多研究曾使用用户人口统计信息（可能引发伦理问题）或临床/人格测试分数来调节模型（Rudovic等，2018a (https://arxiv.org/html/2606.24985#bib.bib50)；Yang和Lee，2019 (https://arxiv.org/html/2606.24985#bib.bib99)）。获取此类信息可能繁琐，且高维度个体特质与生理反应之间的关系仍属未知。因此，我们专注于利用通用基础模型的抽象表征来调节我们的模型以实现个性化。此类技术已在推荐系统（Dhelim等，2022 (https://arxiv.org/html/2606.24985#bib.bib126)；He等，2023 (https://arxiv.org/html/2606.24985#bib.bib119)）、个性化聊天机器人（Zhang等，2025 (https://arxiv.org/html/2606.24985#bib.bib125)）或医疗健康（Liang等，2019 (https://arxiv.org/html/2606.24985#bib.bib759)）等领域得到广泛研究。我们从近期个性化LLM的工作中汲取灵感（Doddapaneni等，2024 (https://arxiv.org/html/2606.24985#bib.bib135)；Ning等，2025 (https://arxiv.org/html/2606.24985#bib.bib109)），并将其适配到基于可穿戴设备的压力检测。我们的贡献如下：(1) 一种端到端训练的个性化模型，通过调节预测结果与用户表征相关联；(2) 一个个性化模块，利用冻结的预训练模型从用户自身历史中检索相似模式来构建此表征，无需任何带标签用户数据；(3) 对冷启动个性化的研究，评估随着用户历史数据增长，我们的方法表现如何；(4) 对预训练模型作为检索骨干作用的深入见解。

## 2 相关工作

### 2.1 情感计算中的个性化

在人类行为数据工作中，个性化是一个关键挑战，因为受试者在生理反应和情绪表达上通常表现出很高的个体间差异。根据Li等的综述（Li等，2023 (https://arxiv.org/html/2606.24985#bib.bib163)），情感计算中的个性化技术大致可分为两类：基于数据的方法（在训练前选择、分组或修改数据）和基于模型的方法（采用特定训练流程以考虑个体差异）。

最直接的方法是为每个个体训练一个模型（Han等，2024 (https://arxiv.org/html/2606.24985#bib.bib20)；Cao等，2015 (https://arxiv.org/html/2606.24985#bib.bib962)）或为分组训练模型（Salam等，2022 (https://arxiv.org/html/2606.24985#bib.bib963)），而不是一个全群体水平的模型。然而，这对于需要大量每用户数据的深度学习模型而言很少可行。一个自然的简化是共享公共特征编码器，同时为每个用户训练独立的分类头，即多任务学习（Taylor等，2020 (https://arxiv.org/html/2606.24985#bib.bib92)；Saeed等，2018 (https://arxiv.org/html/2606.24985#bib.bib91)）。当新用户有少量标注数据可用时，微调提供了一种高效的通用模型适应方式，但样本极少时容易过拟合（Han等，2024 (https://arxiv.org/html/2606.24985#bib.bib20)；Behinaein等，2021 (https://arxiv.org/html/2606.24985#bib.bib95)）。针对这种低数据场景的一个原则性解决方案是元学习，其中用户被视为任务，目标是学习一个能快速适应新用户的初始化（Yu等，2021 (https://arxiv.org/html/2606.24985#bib.bib111)；Kambale等，2024 (https://arxiv.org/html/2606.24985#bib.bib964)）。然而，上述所有方法至少需要每个用户一些标注数据，这在实践中获取困难且成本高昂。

另一条工作线完全避免每样本标注，通过根据用户属性或个人信息来调节模型，使模型学习信号与用户特征之间的潜在相关性。例如，Yang和Lee（2019 (https://arxiv.org/html/2606.24985#bib.bib99)）用大五人格分数调节变分自编码器，学习生理信号中与属性无关的表征用于情绪识别。在更先进的方法中，Gerczuk等（2023 (https://arxiv.org/html/2606.24985#bib.bib148)）提出了超网络，根据用户元数据生成模型参数，实现在无需任何用户信号数据的情况下对新用户的零样本适应。在一项针对ASD儿童个性化机器人交互的研究中，Rudovic等（2018b (https://arxiv.org/html/2606.24985#bib.bib772)）将临床严重程度评分（CARS）的调节与多分支架构相结合，捕捉文化、性别和个体层面的群体差异，展示了整合用户属性和结构化群体先验的益处。然而，这些属性往往难以获取，需要自我报告问卷或临床诊断，并且当使用人口统计信息作为个体生理差异的代理时可能引入偏见。更广泛地说，这些方法依赖于用户专属的辅助信息，在被动感知场景中收集可能不切实际。

避免依赖个人信息和标注的一种方法是从数据本身构建明确的用户表征。例如，Barros等（2022 (https://arxiv.org/html/2606.24985#bib.bib114)）提出了一种情感记忆系统，将用户对刺激的特定响应编码为动态记忆结构中的槽位，随着用户与系统交互而持续更新。Triantafyllopoulos和Schuller（2024 (https://arxiv.org/html/2606.24985#bib.bib97)）提出将少量带标注的语音样本编码为用户嵌入，用于调节语音情感识别模型。虽然他们的方法利用了标注样本，但仅在注册时（即一次性由用户自己）进行连接，因此能够以最少的用户特定信息实现适应，无需完整模型重新训练。与我们的工作最为相关的是Tran等（2023 (https://arxiv.org/html/2606.24985#bib.bib960)），他们通过联合优化受HuBERT自监督目标正则化的监督情感损失来学习用户嵌入，并通过在HuBERT潜在空间中检索具有相似嵌入的用户来执行标签分布校准。虽然共享了我们利用预训练表征进行用户感知推断的直觉，但他们的方法是检索相似*用户*而非相似*样本*，需要带标签的情感注释来训练用户嵌入，并且使用领域特定的预训练模型在语音上操作。

相比之下，我们的方法通过冻结的、跨领域基础模型从未标记的生理记录构建个性化嵌入，无需情感标注和生理预训练，使其非常适合被动可穿戴感知场景，其中丰富的未标记用户历史可用，但标注不切实际。

### 2.2 可穿戴感知的基础模型

自监督Transformer的兴起使得可跨任务和领域迁移的通用表征得以出现。在情感计算和个人感知背景下，多项研究表明，大型预训练模型可以作为可穿戴数据的有效特征提取器，无需任务特定预训练，无论是直接作为输入特征还是通过线性探测基础模型（Schuller等，2026 (https://arxiv.org/html/2606.24985#bib.bib967)；Lian等，2026 (https://arxiv.org/html/2606.24985#bib.bib966)；Zhao等，2022 (https://arxiv.org/html/2606.24985#bib.bib968)）。另一条并行的工作线探索了直接在生理信号上训练领域特定的自监督学习模型。例如，Wu等（2024 (https://arxiv.org/html/2606.24985#bib.bib137)）在包含400万样本的闭源数据集上使用信号变换借口任务预训练了一个多模态Transformer，在WESAD和K-EmoCon上取得了强劲性能。类似地，Dissanayake等（2022 (https://arxiv.org/html/2606.24985#bib.bib138)）在可穿戴生理数据集集合上预训练了一个Transformer模型。虽然有效，但这类方法需要大量的计算资源和大规模生理数据集，而这些数据集与视觉或文本领域相比仍然稀缺。

最近，专门针对可穿戴和生理数据的基础模型开始出现。PaPaGei（Pillai等，2024 (https://arxiv.org/html/2606.24985#bib.bib11)）提供了光学生理信号的预训练表征，而Erturk等（2025 (https://arxiv.org/html/2606.24985#bib.bib14)）展示了大规模行为可穿戴数据对健康预测的价值。然而，这些模型通常假设固定的输入模态或格式（仅PPG输入、固定通道配置或基于补丁的标记化），限制了它们在异构可穿戴设备上的适用性。此外，高效的微调策略如LoRA虽然有望适应大型语言模型，但在可穿戴情感计算中仍然难以应用，原因是缺乏足够大的生理基础模型以及该领域典型数据集的规模有限。

另一种方案是利用跨领域基础模型，其表征无需任何生理预训练即可迁移到生理信号。最近两项研究表明，语音基础模型可以从生理时间序列中提取有意义的表征（Phukan等，2024 (https://arxiv.org/html/2606.24985#bib.bib6)；Ahmed Al Dossary等，2025 (https://arxiv.org/html/2606.24985#bib.bib8)），尽管存在明显的领域不匹配，但取得了强劲性能，不过这种可迁移性的原因仍然是一个开放问题。基于这一工作线，我们将跨领域基础模型的应用扩展到时间序列和语音基础模型，并评估这两类模型作为个性化生理情感识别的检索骨干。关键在于，我们在完全冻结的设置中使用这些模型，无需任何生理数据进行预训练，并通过独立处理每种模态来支持灵活的多模态输入。

参见标题图1：CNN + Transformer骨干：可穿戴输入信号使用类Inception的CNN单独处理（左），融合后由Transformer联合处理。包含最大池化和预测的完整架构（右）作为基线。

## 3 方法

在本工作中，我们从UserLLM（Ning等，2025 (https://arxiv.org/html/2606.24985#bib.bib109)）中汲取灵感，后者使用用户嵌入模块和交叉注意力来调节冻结的LLM基于学到的用户嵌入。将其适配到可穿戴压力检测面临三个挑战：(1) 缺乏大规模预训练的可穿戴基础模型且输入模态灵活；(2) 数据可用性有限且个体间异质性高，阻碍了复杂深度架构的训练；(3) WESAD数据集的用户数量较少（N=15）。