CSI-JEPA：面向最小监督下泛在感知的基础表征

# CSI-JEPA：面向最小监督的泛在感知基础表示
来源：https://arxiv.org/html/2605.14171
###### 摘要

信道状态信息 \(CSI\) 为人体与环境感知提供了一种广泛可用的感知模态，但现有 CSI 感知模型通常依赖特定任务的监督训练，并且每个任务、设备、用户或环境都需要大量标注数据。这限制了它们在实际部署中的可扩展性，因为未标注的 CSI 数据丰富，但标注数据收集成本高昂。本文提出 CSI-JEPA，一种自监督预测性表示学习框架，用于标签高效的多任务 Wi-Fi 感知。CSI-JEPA 从未标注的 CSI 样本中学习可复用的时频谱表示，通过从可见上下文中预测掩码信道区域的潜在特征来实现。为了更好地匹配 CSI 的物理结构，CSI-JEPA 将信道响应幅度窗口沿时间和子载波维度进行令牌化，并引入一种信道变化感知的掩码策略，该策略从局部时间和子载波域变化更强的区域采样预测目标。预训练后，编码器被冻结并作为骨干网络，为下游感知任务添加轻量级的任务特定适配器。我们在涵盖不同目标和部署设置的七个真实 Wi-Fi 感知任务上评估了 CSI-JEPA。结果表明，与竞争基线相比，CSI-JEPA 提升了下游感知性能，相对于最先进的监督式 Transformer 实现了高达 10.64 个百分点的平均准确率提升，并节省了高达 98.0% 的匹配标签预算。

## I 引言

Wi-Fi 感知已成为一种有前景的泛在无设备感知范式\[14 (https://arxiv.org/html/2605.14171#bib.bib25),4 (https://arxiv.org/html/2605.14171#bib.bib4),23 (https://arxiv.org/html/2605.14171#bib.bib5)\]。通过分析人体运动、呼吸、身体存在以及环境变化引起的无线信道扰动，Wi-Fi 系统能够支持广泛的感知应用，无需目标携带专用传感器\[33 (https://arxiv.org/html/2605.14171#bib.bib3),19 (https://arxiv.org/html/2605.14171#bib.bib2)\]。信道状态信息 \(CSI\) 捕获 OFDM 子载波和分组时间索引上的细粒度信道响应，因其可从商用 Wi-Fi 设备中轻松获取，尤其适合无线感知，特别是随着新兴 IEEE 802.11bf 协议\[27 (https://arxiv.org/html/2605.14171#bib.bib24),9 (https://arxiv.org/html/2605.14171#bib.bib23)\]的支持不断增强。

尽管前景广阔，实际 Wi-Fi 感知系统仍面临重大可扩展性挑战。大多数现有的基于 CSI 的感知框架都采用监督式和任务特定方式训练\[15 (https://arxiv.org/html/2605.14171#bib.bib30),21 (https://arxiv.org/html/2605.14171#bib.bib29),6 (https://arxiv.org/html/2605.14171#bib.bib27),16 (https://arxiv.org/html/2605.14171#bib.bib28),31 (https://arxiv.org/html/2605.14171#bib.bib26)\]。对于每个感知任务、用户群体、设备配置或环境，它们通常需要大量带标签的 CSI 数据才能达到可靠的预测性能。然而，带标签的 CSI，即与任务特定真实标注配对的 CSI 测量值，往往收集成本高昂，因为需要同步感知活动和受控实验流程\[35 (https://arxiv.org/html/2605.14171#bib.bib20)\]。相比之下，未标注的 CSI 可在正常 Wi-Fi 运行期间持续且便捷地收集。这种丰富的未标注 CSI 与稀缺的标注数据之间的不匹配，激励我们学习一种可复用的 CSI 表示，以便在最小监督下适应下游感知任务。

自监督表示学习为解决这一问题提供了自然途径\[26 (https://arxiv.org/html/2605.14171#bib.bib21)\]。然而，许多现有自监督方法依赖一致性学习\[35 (https://arxiv.org/html/2605.14171#bib.bib20)\]或掩码重建\[39 (https://arxiv.org/html/2605.14171#bib.bib32),11 (https://arxiv.org/html/2605.14171#bib.bib31)\]，这可能强调输入级相似性或低级 CSI 恢复，而非任务相关的信道动态。联合嵌入预测架构 \(JEPA\) 的最新进展通过在潜在空间中从上下文嵌入预测目标嵌入，而非重建原始输入，来学习表示\[13 (https://arxiv.org/html/2605.14171#bib.bib36)\]。通过将预文本任务从原始信号重建转变为潜在空间预测，JEPA 提供了一种有前景的方式，学习与下游预测目标更一致的复用表示。然而，直接将 JEPA 应用于基于 CSI 的感知并非易事。CSI 测量值构成一个结构化的时频域场，其中时间轴反映运动演化和生理动态，而子载波轴反映频率选择性衰落和多径相关性。因此，JEPA 中的“掩码-预测”策略应保留并利用这一物理结构。通用的掩码策略可能忽略信息丰富的信道变化，而过于激进的时间仅或子载波仅掩码则可能移除过多信息，不利于预测学习。

本文提出 CSI-JEPA，一种专为标签高效 Wi-Fi 感知设计的自监督预测性表示学习框架。CSI-JEPA 将 CSI 幅度窗口令牌化为时频域块令牌，并通过掩码潜在预测学习可复用表示。为了更好地匹配 CSI 的物理结构，我们引入一种信道变化感知的掩码策略，该策略从时间和子载波域变化中估计局部信道动态，并选择具有更强信道动态的预测目标区域。值得注意的是，模型仅使用未标注的 CSI 样本进行预训练，无需任务特定标签。预训练后，编码器被冻结，并通过轻量级任务特定适配器迁移到多个 Wi-Fi 感知任务。这种设计将表示学习与任务适应分离，允许同一预训练骨干网络在有限标签监督下支持多样化的感知目标。特别是，CSI-JEPA 在 PHY 层 CSI 采集与应用层感知推理之间提供了一个可复用的预测性表示层。通过处理现有 Wi-Fi 系统中可用的 CSI 测量值，CSI-JEPA 可作为协议兼容的感知基元，服务于未来 IEEE 802.11bf 协议\[24 (https://arxiv.org/html/2605.14171#bib.bib18)\]所设想的集成 WLAN 通信与感知服务。其输入模态与通过标准 Wi-Fi 探测和感知流程\[36 (https://arxiv.org/html/2605.14171#bib.bib13),30 (https://arxiv.org/html/2605.14171#bib.bib12)\]获得的信道测量值兼容，允许将常规收集的未标注 CSI 测量值重复用于自监督表示学习。本文的主要贡献总结如下。

- • 我们提出 CSI-JEPA，首个用于标签高效 Wi-Fi 感知的联合嵌入预测表示学习框架。CSI-JEPA 从未标注的 CSI 样本中学习可复用的时频域表示，并通过轻量级模型适应将冻结的编码器迁移到下游感知任务。
- • 我们引入一种针对未标注 CSI 数据定制的信道变化感知掩码策略。该策略不采用均匀采样掩码局部信道段的方式，而是估计局部时间和子载波域的信道变化，并自适应地选择具有潜在更强动态的预测目标区域。
- • 我们在七个真实 Wi-Fi 感知任务上进行了综合评估，涵盖不同的标签预算。CSI-JEPA 在原始特征基线、监督式 Transformer 训练以及基于重建的自监督预训练基础上，提升了下游感知性能。与最强的 Transformer 模型相比，CSI-JEPA 实现了高达 10.64 个百分点 \(pp\) 的平均准确率增益和高达 14.38 pp 的平均 F1 增益，同时将匹配标签预算减少了高达 98.0%。

## II 相关工作

监督与多任务无线感知。无线信道测量已广泛应用于网络和通信系统，支持诸如信道估计\[10 (https://arxiv.org/html/2605.14171#bib.bib8)\]、波束管理\[17 (https://arxiv.org/html/2605.14171#bib.bib9)\]和无线电图估计\[22 (https://arxiv.org/html/2605.14171#bib.bib10)\]等任务。在 Wi-Fi 感知中，信道相关测量进一步实现了无设备感知任务，如定位\[15 (https://arxiv.org/html/2605.14171#bib.bib30)\]、呼吸监测\[21 (https://arxiv.org/html/2605.14171#bib.bib29)\]、用户识别\[6 (https://arxiv.org/html/2605.14171#bib.bib27)\]和邻近估计\[31 (https://arxiv.org/html/2605.14171#bib.bib26)\]。大多数现有 CSI 感知系统依赖任务特定的特征提取或针对特定感知目标、环境、设备设置或用户群体训练的监督式深度学习模型。最近的工作也开始探索统一的多任务感知模型。例如，LLM4WM 通过多任务适配器和 MoE-LoRA\[20 (https://arxiv.org/html/2605.14171#bib.bib19)\]将预训练语言模型适应到多个与信道相关的通信任务。MMSense 通过集成图像、雷达、LiDAR 和文本输入，适应基于视觉的基础模型用于多模态和多任务无线感知，涵盖信道、人体和环境感知任务\[18 (https://arxiv.org/html/2605.14171#bib.bib22)\]。虽然这些方法在充足标注数据下能取得强性能，但通常需要昂贵的数据收集、设备和环境特定的校准，以及针对每个新部署的重复再训练。

基于 CSI 的自监督学习模型。自监督学习 \(SSL\) 近来被探索用于减少无线感知与通信系统中的标注需求\[26 (https://arxiv.org/html/2605.14171#bib.bib21)\]。AutoFi 利用基于一致性 SSL 的互信息和几何结构目标，从随机收集的未标注 CSI 样本中学习可迁移的 CSI 表示，实现少样本人体手势和步态识别\[35 (https://arxiv.org/html/2605.14171#bib.bib20)\]。AM-FM 在大规模未标注 CSI 上预训练 Wi-Fi 感知基础模型，使用混合自监督目标，结合对比学习、掩码重建和物理启发的自相关预测\[39 (https://arxiv.org/html/2605.14171#bib.bib32)\]。CSI-MAE 将掩码自编码器预训练应用于由 3GPP 信道模型生成的复 CSI，学习用于信道外推、信道反馈和用户定位的信道表示\[11 (https://arxiv.org/html/2605.14171#bib.bib31)\]。这些工作证明了自监督预训练在学习可迁移无线表示方面的潜力。然而，基于重建的目标训练模型恢复原始 CSI 值，这可能使学习到的表示对低级幅度变化或信道特定细节敏感，而这些并非总是下游感知任务最具区分性的因素。

用于无线网络的 JEPA。与依赖任务特定标签的传统监督学习方法以及通常使用视角一致性或原始重建的现有自监督 CSI 处理不同，JEPA 学习表示的方式是在潜在空间中从上下文嵌入预测目标嵌入，而非重建原始输入\[13 (https://arxiv.org/html/2605.14171#bib.bib36)\]。此后，它被扩展到图像\[1 (https://arxiv.org/html/2605.14171#bib.bib38)\]、视频\[2 (https://arxiv.org/html/2605.14171#bib.bib35)\]和视觉-语言信号\[5 (https://arxiv.org/html/2605.14171#bib.bib34)\]等实际自监督表示学习。JEPA 风格的预测性表示学习也开始出现在无线网络系统中。WirelessJEPA\[7 (https://arxiv.org/html/2605.14171#bib.bib1)\]通过对天线-时间网格上的掩码潜在预测，从原始多天线 I/Q 流中学习通用表示，并在调制分类、AoA 估计和射频指纹识别等射频中心任务上评估学习到的编码器。虽然原始 I/Q 信号提供细粒度的物理层信息，但收集同步的多天线 I/Q 流通常需要专用无线电硬件和受控测量设置。近期工作还将 JEPA 应用于 CSI 轨迹建模，通过学习速度条件化的潜在信道动态，其中从当前 CSI 表示和用户速度预测未来信道图嵌入\[3 (https://arxiv.org/html/2605.14171#bib.bib33)\]。后续工作进一步使用具有李代数动作算子的同态世界模型结构化这些潜在转移，以改善几何一致性和组合滚动预测\[25 (https://arxiv.org/html/2605.14171#bib.bib14)\]。除了 CSI 和 I/Q 信号，JEPA-MSAC\[37 (https://arxiv.org/html/2605.14171#bib.bib16)\]将时间块掩码 JEPA 应用于多模态感知辅助通信，使用视觉、雷达、LiDAR、GPS 和射频波束级功率测量来支持定位、波束预测和 RSSI 预测。与这些先前努力不同，我们的 CSI-JEPA 专注于从时间-子载波 CSI 幅度窗口进行标签高效的 Wi-Fi 感知，并引入信道变化感知的目标选择用于 JEPA 预训练，无需难以获取的 I/Q 流、专用多模态感知硬件、明确的速度测量、轨迹级监督或任何位置注释。

## III 系统模型与问题形式化

### III-A 基于 CSI 的感知系统

我们考虑一个通用的 Wi-Fi 感知系统，由部署在室内环境中的无线发射机和接收机组成。发射机以固定或应用相关的间隔向接收机发送 Wi-Fi 分组，接收机从接收到的分组中估计 CSI。CSI 描述了发射机与接收机之间在多个子载波和分组时间索引上的复信道响应。对于具有多天线、接收流或信道视图的系统，CSI 可表示为 Ĥ_c,k(t) ∈ ℂ，其中 c 表示信道或天线流索引，k 表示子载波索引，t 表示分组时间索引。

本质上，用户运动、人体呼吸、身体存在以及环境动态会扰动无线传播路径。这些扰动改变了 Ĥ_c,k(t) 的时间和频谱模式，使 CSI 成为被动感知和监测的有用信号指标。形式化地，原始 CSI 是复数值：

Ĥ_c,k(t) = A_c,k(t) e^{jφ_c,k(t)}， (1)

其中 A_c,k(t) 是幅度，φ_c,k(t) 是相位。在实际商用 Wi-Fi 系统中，由于定时偏移、频率同步误差和硬件相关的失真，CSI 相位可能不稳定。因此，通常使用幅度分量作为感知模型输入：

A_c,k(t) = |Ĥ_c,k(t)|。 (2) 这是