老年人身体活动与健康状况的纵向多模态感知

# 老年人身体活动与健康状态的纵向多模态感知 来源：https://arxiv.org/html/2606.00345 Mattia G\. Campana¹, Marcello Magno², Lorenza Pratali², Franca Delmastro¹ ¹意大利国家研究委员会信息与通信技术研究所（IIT-CNR），比萨 ²意大利国家研究委员会临床生理学研究所（IFC-CNR），比萨 ###### 摘要 可穿戴与移动传感技术能够在真实环境中连续监测人类行为与健康状况。然而，在纵向多模态数据中进行预测建模仍具挑战性，尤其是当目标变量为复杂或临床衍生指标时。本研究对66名老年人开展了一项纵向多模态研究，在真实世界条件下结合可穿戴传感、行为监测与临床评估。这一设置为长期、自然条件下的研究提供了难得的机会，该人群在以往研究中代表性不足。基于此数据集，我们探究感知信号与目标变量之间的对齐程度如何影响健康相关任务的预测性能。我们设计了一个统一的评估框架，涵盖可观测性递增的任务，包括**活动水平**预测、**睡眠时长**估计以及**睡眠呼吸暂停严重程度**分类。结果显示清晰的预测梯度：高可观测性的行为目标实现了稳健性能（宏F1≈65%），而更抽象的结果尽管相比基线模型持续改进，仍然具有挑战性。此外，通过可解释性分析，我们发现历史特征始终是最具信息量的预测因子，凸显了纵向信息的核心作用。

## 1 引言

可穿戴与移动传感技术的广泛应用为在真实环境中监测人类行为与健康开辟了新机遇[19（https://arxiv.org/html/2606.00345#bib.bib2），8（https://arxiv.org/html/2606.00345#bib.bib15）]。连续的生理、行为与情境数据流使得以前所未有的规模研究日常活动与长期健康轨迹成为可能。尤其是纵向多模态感知已成为理解身体活动、睡眠等生活方式因素如何随时间影响健康状态的关键范式[4（https://arxiv.org/html/2606.00345#bib.bib16），30（https://arxiv.org/html/2606.00345#bib.bib18）]。然而，尽管取得了显著进展，当前研究仍受到若干结构性限制。首先，现有数据集大多偏向年轻或劳动年龄人群，而老年人作为预防性医疗与长期监测的主要目标群体，代表性仍然不足[12（https://arxiv.org/html/2606.00345#bib.bib28）]。这一限制尤为关键，因为基于年轻群体训练的模型往往难以推广到生理反应、行为模式与健康状况存在显著差异的老年人群。其次，尽管许多数据集提供高分辨率原始传感器信号，但通常缺乏一致的抽象层，难以支持可扩展且可解释的纵向分析[24（https://arxiv.org/html/2606.00345#bib.bib22）]。相比之下，基于可穿戴设备提取的行为特征，以有意义的时间尺度（如小时、日、周）聚合，更能反映潜在现象的时间动态，同时支持稳健的长期分析。最后，现有数据集很少能同时具备所有理想属性，即**多模态性**、**长期纵向覆盖**、**自然条件下采集**以及**与临床相关结果的整合**，从而限制了建模能力与科学洞察[15（https://arxiv.org/html/2606.00345#bib.bib12），17（https://arxiv.org/html/2606.00345#bib.bib14），30（https://arxiv.org/html/2606.00345#bib.bib18）]。

在本研究中，我们通过一项完全在真实条件下开展的老年人综合纵向研究来应对这些挑战。我们收集了66名参与者（平均年龄72.6±4.4岁）的多模态数据集，覆盖约23个月，包含多个实验阶段，并融合了连续感知、结构化身体干预与重复临床评估。参与者配备了一套集成感知生态系统，包括**智能手表**、**床垫下睡眠追踪器**、**智能秤**和定制**移动应用**，从而能够收集异构数据流，如身体活动、心血管信号、睡眠动态、身体成分、情境信息以及自我报告的健康状态指标。生成的数据集详细描绘了日常生活，完全在自然条件下采集，捕捉了短期变异性与长期行为趋势。由于数据的敏感性以及GDPR法规的要求，数据集将在接收机构与作者机构之间签署数据转移协议（DTA）后，仅用于研究目的。感兴趣的研究人员可向作者发送直接请求，并附上研究项目简要介绍，随后将收到完成必要法律步骤并访问数据的全部说明。数据集的结构与特性旨在支持可重复研究及未来扩展。数据集的详细描述、元数据以及数据访问请求说明可访问以下链接：https://aathe-ds.github.io/（目前为审稿目的保持匿名）。

本研究的一个独特之处在于将被动感知与针对老年人结构化的**适应性身体活动**（*APA*）项目以及周期性临床评估相结合。APA项目既是一种干预，也是参与者的激励，提供了重要的身体活动指南，参与者可在日常生活中维持这些活动以改善健康状态。这种设计确保了高用户参与度、使用技术的心理动机，并允许观察与临床基础结果（如功能能力和睡眠相关状况）相关的自然行为模式。此外，数据集的纵向性质支持提取历史特征，如滞后值、滚动统计量等，这些特征能够捕捉时间依赖性与行为常规，提供比瞬时测量更丰富的表示。

基于该数据集，我们研究多模态可穿戴信号在不同抽象层次上支持健康相关结果预测的程度。我们并非聚焦于单一任务，而是采用基于**可观测性**概念的统一视角，即可观测性指目标变量在可用感知模态中的直接反映程度。为此，我们设计了一组机器学习任务，涵盖递增的难度谱：(i) 二分类的次日身体活动预测（活跃vs.非活跃），代表高度可观测的行为信号；(ii) 二分类的睡眠时长预测，反映中等的、间接可观测的构念；(iii) 睡眠呼吸暂停严重程度预测，基于临床定义阈值形成三分类问题（轻度、中度、重度）。我们的结果显示了这些任务之间清晰且一致的预测梯度。对于可观测性最高的设置，尽管采用了严格的留一受试者（LOSO）跨被试评估协议（要求模型在不同个体间泛化），活动预测仍取得了稳健的性能（平衡准确率与宏F1约为65%）。对于睡眠时长，性能仍高于基线，但变异性增加，反映了可穿戴信号与睡眠相关结果之间更复杂的关系。最具挑战性的任务是睡眠呼吸暂停严重程度预测，模型需要在信号-标签对齐较弱且标签固有模糊性的条件下区分三个临床定义的类别。在此设置中，模型实现了平衡准确率高于50%、宏F1约为50%的性能，相比随机基线（+33%）和多数类基线均有显著提升。重要的是，这些结果应结合任务本身的难度来解释：目标变量并不能直接从可穿戴信号中观测，而是源于复杂的生理过程，这些过程仅被感知模态部分捕捉。

总体而言，我们的发现表明，纵向多模态感知中的预测性能根本受限于测量信号与目标构念之间的对齐程度，而非单纯由模型复杂度决定。这一视角为解释成功与挑战性的预测任务提供了原则性框架，强调了在设计和评估健康监测机器学习方法时考虑可观测性的重要性。总结而言，本研究做出三项主要贡献：
1.  引入了在自然条件下收集的老年人纵向多模态数据集，结合了可穿戴传感、移动数据与临床评估，覆盖较长时间跨度；
2.  系统描述了真实世界条件下的数据可用性、质量与时间对齐，展示了在该人群中实现长期监测的可行性；
3.  提出并验证了一个可观测性驱动的框架，用于分析异构健康相关任务的预测性能，提供了关于可穿戴推断潜力与固有局限的洞见。

本文其余部分组织如下：第2节（https://arxiv.org/html/2606.00345#S2）回顾相关工作，特别关注纵向与多模态感知数据集，突出其关键特征与局限性。第3节（https://arxiv.org/html/2606.00345#S3）描述研究设计并介绍所提出的数据集，详述人群、感知生态系统、数据收集协议与集成架构。第4节（https://arxiv.org/html/2606.00345#S4）提供数据集的全面分析，包括数据可用性、有效性与跨模态对齐，随后给出人群层面的洞察以及机器学习实验，旨在评估不同可观测性水平任务的预测能力（第5.1节（https://arxiv.org/html/2606.00345#S5.SS1））。最后，第6节（https://arxiv.org/html/2606.00345#S6）总结全文，讨论我们发现的启示，概述数据集的潜在用例，并指出未来研究方向。

## 2 背景与相关工作

纵向多模态感知已成为在真实环境中研究行为、生理与情境动态的关键范式。诸如Tesserae[15（https://arxiv.org/html/2606.00345#bib.bib12）]、TILES-2018[17（https://arxiv.org/html/2606.00345#bib.bib14）]、StudentLife[26（https://arxiv.org/html/2606.00345#bib.bib17）]和GLOBEM[30（https://arxiv.org/html/2606.00345#bib.bib18）]等近期数据集展示了在较长时间内连续收集异构数据流（包括可穿戴生理信号、智能手机衍生的行为特征以及生态瞬时评估EMAs）的可行性。这些努力凸显了多模态感知在捕捉真实世界行为动态方面的潜力，同时也揭示了时间变异性、数据稀疏性和人群异质性等挑战。与此同时，可穿戴感知的最新进展已从单模态活动识别转向整合异构传感器模态的多模态学习框架。早期的人类活动识别（HAR）系统主要基于惯性测量，而近期工作越来越多地利用多模态输入，包括生理信号、情境数据和跨设备感知，以提高鲁棒性与表示质量[21（https://arxiv.org/html/2606.00345#bib.bib21）]。例如，近期研究探索多模态可穿戴感知与表示学习，以更好地捕捉复杂行为模式并改善跨设置与人群的泛化能力[30（https://arxiv.org/html/2606.00345#bib.bib18），22（https://arxiv.org/html/2606.00345#bib.bib19）]。这些方法强调了结合互补感知模态以应对真实世界数据中的噪声、模糊性和变异性的重要性。

然而，尽管取得了这些进展，大多数多模态HAR方法仍聚焦于短期活动识别任务，并未明确处理纵向行为动态。特别是，这些工作中使用的数据集通常持续时间有限，无法捕捉对建模常规、生活方式模式与健康轨迹至关重要的长期时间依赖性。近期多模态数据集如ExtraSensory[24（https://arxiv.org/html/2606.00345#bib.bib22）]和Lifetrace[3（https://arxiv.org/html/2606.00345#bib.bib20）]代表向真实世界部署迈出的重要一步，它们结合了可穿戴感知、情境信息与自然条件下的数据收集。特别是Lifetrace提供了长期多模态纵向数据，整合了可穿戴与情境信号，用于研究自然环境中的日常行为。然而，这些数据集仍主要聚焦于年轻健康人群。尽管它们提升了生态效度与多模态丰富性，但存在关键局限性：数据采集时长相较于真实纵向监测仍然受限，且临床相关的金标准数据有限。因此，纵向多模态数据集对老年人的代表性往往不足，而这一人群恰恰最需要持续、长期的监测与健康评估。

这些限制对纵向多模态数据的预测建模有直接影响。现有工作倾向于关注高度可观测的结果，如身体活动水平或粗略的行为状态，其中传感器信号与标签之间的映射相对直接。相比之下，预测更抽象或临床衍生的构念（如睡眠质量或健康状况）本质上更具挑战性，因为观测信号与潜在现象之间的对齐较弱，且标签不确定性增加。这一差距因这类结果可靠金标准数据的有限可用性而进一步加剧。此外，这些数据集的纵向性质支持使用历史特征，如滞后观测、滚动统计量和指数加权汇总，这些特征能够捕捉时间依赖性与行为常规。尽管这些方法可以改善预测性能，但其有效性在很大程度上取决于目标的可观测性与数据的时间变异性。在相对稳定或信息较弱的设置中，历史汇总可能捕捉到一般趋势，但对于细粒度预测的区分能力有限。总体而言，现有数据集往往仅满足部分理想属性——纵向性、多模态性、自然条件部署、可穿戴感知与人群多样性——但很少能同时满足所有条件。