JEPA 赋能 AI 原生 6G：预测表示与开放挑战

# 预测性表示与开放挑战
来源：https://arxiv.org/html/2607.09798
## 面向AI原生的6G JEPA：预测性表示与开放挑战

Sheikh Salman Hassan, , Irshad A. Meer, , Almoatssimbillah Saifaldawla, , Yan Kyaw Tun, , Mustafa Ozger, , Madyan Alsenwi, , Nguyen Van Huynh, , Woong‑Hee Lee, Cedomir Stefanovic, , Mathini Sellathurai, , Henk Wymeersch, , and Tharmalingam RatnarajahS. S. Hassan 就职于爱丁堡大学 IDCoM，英国爱丁堡 EH9 3BF。邮箱：[email protected]。I. A. Meer 就职于 KTH 皇家理工学院，瑞典斯德哥尔摩 SE‑100 44。邮箱：[email protected]。A. Saifaldawla 与 M. Alsenwi 就职于卢森堡大学 SnT，卢森堡 L‑1855。邮箱：[email protected], [email protected]。Y. K. Tun, M. Ozger 和 C. Stefanovic 就职于奥尔堡大学电子系统系，丹麦奥尔堡 9220。邮箱：[email protected], [email protected], [email protected]。N. V. Huynh 就职于利物浦大学计算机科学与信息学院，英国利物浦 L69 3DR。邮箱：[email protected]。W.‑H. Lee 就职于东国大学电子与电气工程学部，韩国首尔 04620。邮箱：[email protected]。M. Sellathurai 就职于赫瑞‑瓦特大学工程与物理科学学院，英国爱丁堡 EH14 4AS。邮箱：[email protected]。H. Wymeersch 就职于查尔姆斯理工大学电气工程系，瑞典哥德堡 41296。邮箱：[email protected]。T. Ratnarajah 就职于圣地亚哥州立大学电气与计算机工程系，美国加利福尼亚州圣地亚哥 92182。邮箱：[email protected]。

###### 摘要

第六代（6G）网络正朝着AI原生运营方向发展，学习模块嵌入无线接入网（RAN）、边缘和核心。这一转变需要在有限标签、异构无线与网络数据、部分观测、非平稳传播以及时延受限的控制回路中进行学习。联合嵌入预测架构（JEPA）是一种有前景的自监督范式，它通过在潜在空间中预测缺失或未来的表示，而非重构原始测量值或使用对比负样本，适合该场景。本文为6G智能提供了一份面向无线的JEPA教程。我们定义了JEPA训练机制，描述了如何将CSI、波束测量、KPI、拓扑图和感知观测进行分词和掩码，并将学习到的编码器定位为RAN、O‑RAN、边缘和核心功能的预测性表示层，配合任务特定的头部或控制器做出最终决策。随后，我们通过一个说明性的波束管理案例研究指出，无线感知的目标（具体而言，在自监督预训练期间辅助未来的波束能量目标）可在跨部署条件变化时，相对于有监督源域提高标签效率和鲁棒性。最后，我们概述了多时间尺度预测、行为条件建模、分布式训练、可信性、高效部署、基准测试和标准化等方面的开放挑战。

## I 引言与背景

6G网络预计将超越吞吐量、时延、连接性和可靠性等方面的改进，迈向人工智能（AI）原生运营，学习模块嵌入无线接入网（RAN）、边缘和核心[9 (https://arxiv.org/html/2607.09798#bib.bib15)]。在当前5G系统中，AI主要用作流量预测、资源分配、异常检测和网络管理方面的优化或分析层。例如，网络数据分析功能根据请求向其他网络功能提供分析[14 (https://arxiv.org/html/2607.09798#bib.bib3)]。与此同时，3GPP已开始研究更接近无线接口的AI，其中TR 38.843研究AI在5G新空口（NR）空口中的应用，初始重点包括信道状态信息（CSI）反馈、波束管理和定位[1 (https://arxiv.org/html/2607.09798#bib.bib1)]。这些努力表明，AI正从高层分析向5G‑Advanced中的无线接口功能演进[11 (https://arxiv.org/html/2607.09798#bib.bib14)]。

6G愿景延伸至集成感知与通信（ISAC）、非地面网络、超密集边缘智能、语义通信、数字孪生和任务关键型控制等领域[18 (https://arxiv.org/html/2607.09798#bib.bib2)]。这些服务需要网络智能来处理分布在用户、基站、边缘服务器和核心功能之间的异构观测数据。这些观测数据在格式、采样率、可靠性和含义上各不相同，可能异步到达或在某些网络段中缺失。这构成了一个多模态学习问题，涉及无线和网络模态，如CSI、I/Q样本、波束测量、RAN关键性能指标（KPI）、拓扑信息、移动轨迹、流量遥测和感知观测。地面链路与非地面网络动态、近实时（RT）O‑RAN时延约束以及多供应商模型生命周期要求进一步放大了这一挑战。

有监督学习在调制识别、信道估计、波束预测、流量分类和干扰检测等无线任务中表现出色[20 (https://arxiv.org/html/2607.09798#bib.bib4)]。然而，有监督模型需要标注数据，且对跨站点、频段、天线配置、硬件平台、移动模式和干扰条件的域偏移敏感。这些限制对6G至关重要，因为标签成本高、网络条件不断变化，且任何单一实体仅能部分观测相关状态。因此，在AI原生架构中，为每个任务、部署和运行条件维护独立的有监督模型存在困难。

自监督学习（SSL）可以利用网络生成的无标签运营数据[19 (https://arxiv.org/html/2607.09798#bib.bib16)]。现有的无线SSL方法通常基于重构或对比学习。基于重构的方法（如掩码自编码器MAE）当目标设计得当时可能有效，但可能在原始测量细节、硬件伪影或噪声上耗费容量，而这些对控制并非直接有用[5 (https://arxiv.org/html/2607.09798#bib.bib18),6 (https://arxiv.org/html/2607.09798#bib.bib9)]。对比方法可以学习鲁棒的表示，但依赖于任务和信道特定的数据增强及负样本对构建[17 (https://arxiv.org/html/2607.09798#bib.bib5)]。因此，重构和对比SSL催生了一个专注于预测性潜在网络状态建模的互补范式。

联合嵌入预测架构（JEPA）是一种范式，它不重构原始信号或对比增强样本，而是从可用上下文中预测缺失或未来观测的潜在表示[2 (https://arxiv.org/html/2607.09798#bib.bib6)]。这一原理与AI原生6G一致，因为目标通常是推断隐藏的无线环境和网络状态以用于未来决策，而非对孤立快照进行分类。JEPA编码器可以总结波束质量、链路可靠性、流量需求或异常行为如何演变。通过这种方式，JEPA可以补充符合3GPP的AI用例（如CSI反馈、波束管理和定位），同时扩展到ISAC、O‑RAN自动化和非地面网络。

JEPA可作为AI原生6G网络的预测性表示层，但其有效性取决于无线感知的设计选择。这些包括编码器架构、上下文和目标视图、掩码模式、预测时间范围以及下游任务头部。因此，将JEPA适配到6G需要将潜在预测目标与无线控制目标对齐。本文为6G无线和网络数据提供了一个关于JEPA的教程和架构视角。我们将JEPA转换为无线工作流程，包括异构观测如何被分词、上下文和目标视图如何构建、SSL预训练期间训练什么、预训练后重用什么，以及下游头部或控制器如何使用学习到的表示。由于JEPA产生预测性嵌入，最终决策（如波束选择、调制与编码方案（MCS）选择、切换动作、切片策略或异常告警）由构建在编码器之上的任务特定模块生成。主要贡献总结如下：

- • 我们定义了无线系统的基本JEPA机制，包括上下文和目标视图、在线编码器和目标编码器、动量目标更新、潜在预测损失以及避免坍缩的直觉。
- • 我们提出了一个面向无线的分词和掩码框架，将CSI、波束域观测、KPI、拓扑图和ISAC测量映射为统一的JEPA兼容令牌序列。
- • 我们阐明了无线JEPA的三个操作阶段：自监督预训练、使用轻量级头部或控制器的任务适配，以及在RAN、边缘、核心和O‑RAN约束下的在线部署。
- • 我们为代表性的6G用例（包括波束管理、链路自适应、ISAC、流量负载、O‑RAN自动化和安全）提供了简洁且可比较的JEPA设计配方，每个配方指定了上下文令牌、潜在目标、任务头部、标签需求和部署位置。
- • 我们通过一个基于波束感知的Future‑JEPA实例化的说明性合成波束管理案例研究，隔离了无线感知目标设计的效果，并指出在自监督预训练期间，辅助的未来波束能量目标相对于有监督源域，可在跨部署条件变化时提高标签效率和鲁棒性。
- • 我们识别了长时域预测、行为条件建模、分布式训练、可信性、效率、基准测试和标准化方面的开放挑战。

## II JEPA基础

### II-A 面向6G的JEPA核心原理

JEPA是一种在潜在空间中学习预测性表示的自监督学习范式。给定一个无线观测窗口，JEPA形成两个相关视图：包含可见或当前可用信息的上下文视图，以及包含待预测的掩码、缺失或未来信息的目标视图。与基于重构的自监督学习不同，JEPA不恢复原始目标样本。相反，它预测由独立目标编码器产生的目标嵌入，这鼓励模型捕捉抽象、稳定且与决策相关的结构，而非低层次测量细节[4 (https://arxiv.org/html/2607.09798#bib.bib8)]。

这一原理可以支持6G，因为无线和网络观测是嘈杂、不完整、分布式的，并受到信道变化、干扰、移动性、阻塞和硬件损伤的影响。许多6G任务需要推断预测性网络状态而非对单个快照进行分类，例如预测波束质量、估计链路可靠性、预测拥塞、检测异常行为以及从ISAC测量中推断环境结构。

见图注图1：三阶段无线JEPA工作流程。阶段1（预训练）：在线编码器 \(E_o\) 和预测器 \(P\) 训练以匹配来自目标编码器 \(E_t\) 的梯度停止目标嵌入，目标编码器通过EMA更新；可选的目标位置令牌 \(\mathbf{m}_t\) 选择预测位置。阶段2（适配）：\(E_o\) 被冻结或轻量微调，训练轻量级任务特定头部/控制器。阶段3（部署）：\(E_o\) 加上选定的头部产生波束排序、MCS选择、流量预测、异常分数、切换支持、切片策略或ISAC辅助控制。

### II-B JEPA架构

一个JEPA模型包含三个主要组件：在线编码器、目标编码器和预测器，如图1 (https://arxiv.org/html/2607.09798#S2.F1)所示。在线编码器 \(E_o(\cdot;\theta_o)\) 处理上下文视图 \(\mathbf{x}_c\) 并产生上下文嵌入。目标编码器 \(E_t(\cdot;\theta_t)\) 处理目标视图 \(\mathbf{x}_t\) 并产生目标嵌入。上下文视图和目标视图 \(\mathbf{x}_c\) 和 \(\mathbf{x}_t\) 从图2 (https://arxiv.org/html/2607.09798#S3.F2) 构建的统一令牌序列中抽取。预测器 \(P(\cdot;\phi)\) 将上下文嵌入映射到目标嵌入，可选择性地以目标位置令牌 \(\mathbf{m}_t\) 为条件，该令牌指示正在预测的时间、频率、波束或模态位置，以便单个预测器可以查询多个目标位置。然而，在第六节 (https://arxiv.org/html/2607.09798#S6) 给出的波束管理案例研究中，预测器查询单个汇集的目标，因此未使用 \(\mathbf{m}_t\)。预训练期间，梯度更新在线编码器和预测器，而目标编码器通过在线编码器参数的指数移动平均（EMA）更新。这种动量更新提供缓慢演变的目标表示，并提高训练稳定性[2 (https://arxiv.org/html/2607.09798#bib.bib6)]。

在6G无线系统中，上下文视图可能包含可见的CSI图块、最近的波束测量、KPI窗口、拓扑令牌或感知令牌。目标视图可能对应同一时间窗口中的掩码令牌，或较晚窗口中的未来令牌。例如，在波束管理中，上下文可以是部分波束功率扫描的历史，而目标可以是未来的波束域表示。在O‑RAN自动化中，上下文可以是最近的KPI和拓扑令牌，而目标可以是短时域网络状态嵌入。此外，JEPA与下游决策模块分离。它输出嵌入，而非波束、MCS值、切换动作、切片策略或异常标签。预训练后，在线编码器被重用为表示模块，并训练一个轻量级任务头部或控制器以执行所需功能。目标编码器和预测器主要是训练侧模块，尽管预测残差也可用于不确定性或异常评分。

### II-C 训练目标与坍缩避免

JEPA目标将根据观测到的无线上下文推断出的表示与掩码或未来目标的表示对齐。在线编码器将上下文映射为 \(\mathbf{h}_c = E_o(\mathbf{x}_c;\theta_o)\)，而目标编码器将目标视图映射为潜在目标嵌入 \(\mathbf{h}_t = E_t(\mathbf{x}_t;\theta_t)\)。然后，预测器产生 \(\hat{\mathbf{h}}_t = P(\mathbf{h}_c;\phi)\)，训练其匹配梯度停止的目标嵌入 \(\mathrm{sg}(\mathbf{h}_t)\)。因此，梯度下降更新 \(\theta_o\) 和 \(\phi\)，而目标参数 \(\theta_t\) 通过EMA更新，即 \(\theta_t \leftarrow \tau \theta_t + (1-\tau) \theta_o\)，其中 \(\tau \in [0,1)\) 是动量系数。取决于