CF-JEPA：利用不对称编码器进行无掩码前向预测的时间序列表示学习

arXiv cs.LG 论文
time-series self-supervised-learning representation-learning joint-embedding-predictive-architecture mask-free forward-prediction asymmetric-encoder

摘要

提出CF-JEPA，一种无掩码的自监督学习框架，用于时间序列表示学习。该方法通过从随机裁剪中进行多视野前向预测，并利用在线编码器与指数移动平均目标编码器之间的不对称性，在分类、预测和异常检测任务上提升了性能。

arXiv:2606.07031v1 公告类型：新论文 摘要：自监督学习（SSL）在时间序列表示学习中主要依赖两种范式：对比方法（在构建正负对时面临挑战）和基于掩码的方法（会破坏时间序列信号的时序连续性）。联合嵌入预测架构（JEPA）提供了一种有前景的替代方案，即在表示空间中进行预测而非重构原始输入。然而，现有的时间序列JEPA变体仍然依赖掩码，因此继承了其连续性问题。本文提出了基于裁剪的前向JEPA（CF-JEPA），一种创新的无掩码框架，用多视野前向预测取代掩码：随机裁剪作为上下文视图，并沿时间正向方向预测短、中、长视野的未来表示，直接利用时间序列数据固有的时序顺序作为学习信号。同时，我们发现了在线编码器与指数移动平均（EMA）目标编码器之间的强不对称性，两者均来自单次训练：在线编码器发展出更高秩的判别性特征，而EMA目标编码器发展出更平滑、低秩的时序特征。利用这种不对称性，分类任务路由到在线编码器，预测和异常检测任务路由到EMA目标编码器，在无额外训练成本下将多变量预测均方误差（MSE）降低了27%。在126个加州大学河滨分校（UCR）和26个东英吉利大学（UEA）分类数据集、八个电力变压器温度预测基准以及关键绩效指标/Yahoo异常检测任务上，CF-JEPA在UCR和UEA上取得了自监督基线中最高的平均准确率和排名，并在单变量预测和基于k近邻评分的异常检测中排名第二。
查看原文
查看缓存全文

缓存时间: 2026/06/08 09:20 

# CF-JEPA：面向时间序列表示学习的无掩码前向预测与非对称编码器利用
来源：https://arxiv.org/abs/2606.07031
查看 PDF (https://arxiv.org/pdf/2606.07031)

> **摘要**：时间序列表示学习的自监督学习（SSL）主要受两种范式主导：对比方法（面临构建正负样本对的挑战）和基于掩码的方法（破坏时间序列信号的时序连续性）。联合嵌入预测架构（JEPA）通过在表示空间中进行预测而非重构原始输入，提供了一种有前景的替代方案。然而，现有时间序列 JEPA 变体仍然依赖掩码，因此继承了其连续性问题。本文提出基于裁剪的前向 JEPA（CF-JEPA）作为一种创新的无掩码框架，用多时间跨度前向预测替代掩码：随机裁剪作为上下文视图，在时间前向方向上预测短、中、长跨度未来表示，直接利用时间序列数据固有的时间顺序作为学习信号。此外，我们还发现来自单次训练运行的在线编码器与指数移动平均（EMA）目标编码器之间存在强不对称性：在线编码器发展出更高秩的判别性特征，而 EMA 目标编码器则发展出更平滑、更低秩的时间特征。利用这种不对称性，将分类任务路由至在线编码器，将预测或异常检测任务路由至 EMA 目标编码器，在不增加训练成本的情况下，多变量预测均方误差（MSE）降低了 27%。在 126 个 UCR（加州大学河滨分校）和 26 个 UEA（东英吉利大学）分类数据集、八个电力变压器温度预测基准以及 KPI/Yahoo 异常检测任务上，CF-JEPA 在自监督基线方法中取得了 UCR 和 UEA 上的最高平均准确率和排名，并在单变量预测和基于 k 近邻评分的异常检测中排名第二。

## 提交历史

作者：Sunghyun Sim [查看邮件](https://arxiv.org/show-email/cc54535d/2606.07031)  
**[v1]** 2026年6月5日 星期五 08:21:20 UTC (1,303 KB)

相似文章

一个未来，每个机器人：去中心化JEPA下的标签高效集体状态预测

Hugging Face Daily Papers

本文介绍了集体状态JEPA（CS-JEPA），这是一种循环联合嵌入预测架构，使群体中的每个机器人能够从局部观测和受限消息中预测相同的未来集体状态。该方法展示了在预测误差和机器人间一致性方面的标签高效改进，并提供了与规划相关的价值估计。

SiamJEPA：论JEPA中孪生学生编码器的作用

Hugging Face Daily Papers

本文提出SiamJEPA，它在JEPA模型中使用带有EMA教师网络的遮蔽孪生学生编码器，与单编码器变体和MAE相比，显示出改进的表示可分性和训练效率。