VCR：为不完整可穿戴信号学习有效的上下文表示

arXiv cs.LG 论文
self-supervised-learning wearable-devices multimodal health-monitoring modality-missing representation-learning sensor-incompleteness

摘要

VCR是一个自监督框架，通过正交标记化和缺失感知的混合专家模型，从不完整的可穿戴信号中学习鲁棒的表示，在模态缺失下提升性能。

arXiv:2605.18837v1 公告类型：新 摘要：可穿戴设备通过多模态信号实现连续健康监测，但现实部署受到有限标注数据和普遍存在的传感器不完整性的阻碍。虽然大规模自监督预训练减少了标签依赖性，但现有大多数方法假设所有模态均可用。当前处理模态缺失的方法通常重建整个缺失信号，这可能会鼓励生成无法从观测传感器信号推断的模态特定细节，从而降低鲁棒性。我们提出VCR，这是一个自监督框架，学习提取对模态缺失鲁棒的有效表示。VCR采用正交标记化器，通过修正潜在流形并应用几何投影来强制执行严格的正交解缠，将每个模态分离为共享语义和模态特定残差。这种设计在保留完整信息完整性的同时，为模态缺失下的鲁棒学习提供了结构基础。生成的标记由缺失感知的混合专家骨干处理，该骨干适应模态可用性的变化模式。通过将目标约束为仅重建缺失模态的共享组件，VCR有效缓解了不可推断的模态特定细节的幻觉。在多个健康监测任务中，与强监督和自监督基线相比，VCR在完整、单缺失和多缺失模态设置下持续提升了性能和鲁棒性。
查看原文

相似文章

面向以对象为中心的视觉推理的弱监督概念学习

arXiv cs.LG

本文提出了一种两阶段的神经符号框架，利用弱监督（仅需 1% 的标签）结合基于 Slot 的变分自编码器（VAE），学习用于以对象为中心的视觉推理的可解释符号，在领域泛化方面优于基础模型。

ViSAGE：构建用于长视频理解的自我纠正记忆

arXiv cs.AI

ViSAGE是一个用于长视频理解的多模态智能体记忆框架，通过跨模态绑定、双向记忆精炼和多智能体交叉验证来构建自我纠正、以实体为中心的记忆，相比基线实现了5.9%的准确率提升。