ChorusTIC:基于Chorus上下文学习的免训练多元时间序列分类
摘要
ChorusTIC是一个用于多元时间序列分类的免训练基础模型,它利用上下文学习来处理异构通道配置,无需目标任务更新,在标准基准测试中展现出强大性能。
arXiv:2608.24033v1 公告类型:新
摘要:时间序列分类支撑着医疗保健、传感和工业监测等应用。尽管时间序列基础模型支持预测和可迁移表示学习,但分类仍然通常需要在每个目标数据集上拟合任务特定的分类器,而多元输入的各个通道通常被独立编码。我们引入ChorusTIC,一个原生的分类基础模型,用于跨异构通道配置的上下文分类,无需目标任务参数更新。ChorusTIC结合了情节一致的随机子通道槽连接和一个共享的双轴编码器,以建模时间序列和跨通道交互,并将可变通道配置映射为一个固定宽度的表示,独立于原始通道数量。然后,它使用上下文派生的分布校准特征轴,并通过防泄漏的上下文学习预测查询标签。我们仅在合成标签情节上预训练ChorusTIC,这些情节包含共享任务背景的上下文和查询集,类别通过稀疏的时间或跨通道规则区分。在完整的UEA-30和UCR-128档案上的评估显示,在无需目标特定分类器拟合的情况下,具有强大的全上下文和低标签性能。
查看缓存全文
缓存时间: 2026/08/26 09:31
# 通过Chorus上下文学习实现免训练多元时间序列分类 来源:https://arxiv.org/html/2608.24033 谢世锋 蔡瑞初\\* 郑胜吉 李子健 张克力 潘鲁甲 Themis Palpanas 郝志峰 ###### 摘要 时间序列分类是医疗健康、传感器监测和工业监控等应用的基础技术。尽管时间序列基础模型支持预测和可迁移表征学习,但分类任务通常仍需在每个目标数据集上训练特定分类器,且多元输入的各通道常被独立编码。本文提出ChorusTIC,一种专为跨异构通道配置进行上下文分类设计的基础模型,无需针对目标任务更新参数。ChorusTIC通过episode一致的随机子通道槽位拼接机制与共享双轴编码器,建模时间与跨通道交互作用,将可变通道配置映射为与原始通道数无关的固定宽度表征。随后,该模型利用上下文分布校准特征轴,并通过防泄漏的上下文学习机制预测查询标签。我们在合成有标签episode(包含共享任务背景、以稀疏时间或跨通道规则区分类别的上下文集和查询集)上对ChorusTIC进行预训练。在完整UEA-30和UCR-128数据集上的评估表明,该模型在全上下文和低标签场景下均表现优异,且无需为目标数据训练特定分类器。代码已开源:https://github.com/fangjuntao/ChorusTIC。 1广东工业大学 2华为诺亚方舟实验室 3巴黎大学 4默罕默德·本·扎耶德人工智能大学 5汕头大学 通讯作者:[email protected] ## 引言 时间序列分类(TSC)支撑着人类活动识别、临床监测、数字健康和工业传感等应用(Ismail Fawaz等,2019;Bagnall等,2018;Foumani等,2023)。许多此类应用涉及由多传感器或电极同步记录的多元时间序列(Bagnall等,2018;Foumani等,2023)。判别性证据可能局限于特定变量和时间区间(Hsieh等,2021;Li等,2021),而多元分类也可能依赖于变量间的交互、传感器间的相关性以及时序上的超前滞后关系(Bennett等,2022;Zuo等,2023;Wang等,2024;Mu等,2025)。因此,可迁移的多元分类器必须同时捕捉通道内的时间模式和任务相关的跨通道关系,并适应异构的通道配置。 近期的时间序列基础模型(TSFMs)展现了跨数据集和领域的迁移潜力(Liang等,2024)。然而,分类任务的主流方法仍是表征迁移:预训练编码器为每个样本生成特征,随后在每个目标数据集上训练特定分类器(Goswami等,2024;Feofanov等,2025;Feofanov等,2026;Lin等,2024;Liu等,2026)。尽管预训练提供了可跨任务复用的表征,该流程仍需针对目标任务优化,且对表征层选择、词元聚合策略和下游分类器高度敏感(Fang等,2026)。此外,多元输入常通过逐通道编码处理,可能无法保留任务相关的时间和跨通道交互。 上下文学习(ICL)提供了一种替代方案,通过直接基于有标签示例进行预测(Fang等,2026;Yeh等,2025;Küken等,2026;O'Rourke等,2026b)。给定有标签上下文集和无标签查询集,上下文分类器无需更新参数即可推断目标任务规则。然而,现有方法主要关注单变量TSC,未能共同解决跨异构通道配置的多元分类中的两大挑战:建模对齐的时间与跨通道交互,以及将可变通道集映射到固定维度表征以实现支持条件推理。 我们提出ChorusTIC,一种专为跨异构通道配置执行Chorus ICL的分类原生基础模型。在信号层面,随机子通道槽位拼接(RSSC)将输入通道分配到episode一致的组槽位位置。共享双轴编码器捕捉时间与组内跨通道交互,随后固定顺序槽位拼接生成表征维度独立于原始通道数的表征。在任务层面,列分布建模利用有标签上下文校准特征轴,行级交互形成样本级表征。防泄漏的上下文分类器仅将标签注入上下文表征,并在无需目标任务参数更新的情况下预测查询标签。 训练该模型需要捕获上下文与查询样本间关系而非孤立序列集合的预训练任务。现有episode生成器主要针对单变量分类设计,或从有限生成机制家族中推导类别标识(Yeh等,2025;Küken等,2026)。因此,我们构建了有标签的多元episode先验。每个episode共享任务级时间背景,而类别通过应用于选定时间区域和通道子集的稀疏时间或跨通道规则进行区分。规则家族涵盖时间模态、位置与顺序变化、信息通道选择、跨通道相位与延迟关系以及相关性变化。实例级扰动变换增加了类内多样性,而episode级标签排列防止了合成模式与数值标签索引间的固定关联。 主要贡献总结如下: - 提出ChorusTIC,一种分类原生基础模型,可跨异构单变量和多元分类任务执行支持条件推理,无需目标任务参数更新。 - 构建有标签的多元episode先验,其中类别在共享任务背景下通过稀疏时间与跨通道判别规则进行区分,并包含实例级变化与episode级标签排列。 - 在完整UEA-30和UCR-128数据集上评估ChorusTIC的全上下文和低标签性能,并通过消融实验验证其架构、推理和预训练设计。 ## 相关工作 #### 时间序列基础模型(TSFMs)。时间序列预测是基础模型研究最活跃的领域之一。大型预训练预测模型支持多种部署协议,包括零样本预测、从有限观测进行适应以及任务特定微调(Ansari等,2024;Ansari等,2025;Das等,2023;Cohen等,2024;Woo等,2024;Auer等,2025b;Moroshan等,2025;Rasul等,2024)。相比之下,时间序列分类的基础模型通常遵循表征迁移范式:预训练编码器提取特征,然后使用每个目标数据集的有标签样本训练单独的分类器(Feofanov等,2025;Lin等,2024;Zhang等,2025;Xie等,2025;Auer等,2025a;Gao等,2024;Zhou等,2023)。通用模型如MOMENT(Goswami等,2024)也采用这种基于嵌入的公式,并被广泛用作下游分类的表征骨干。因此,尽管现有方法提供了可迁移的时间序列表征,但能够直接为未见分类任务推断查询标签、无需目标特定优化的通用框架仍然有限。 #### 上下文时间序列分类。上下文学习无需训练任务特定分类器,而是基于有标签上下文示例预测查询标签。TIC-FM(Fang等,2026)将预训练时间序列编码器与基于潜在记忆的上下文学习器相结合,而TiCT(Yeh等,2025)在合成episode上进行端到端训练,并引入可扩展的标签表征。两者均主要针对单变量分类开发或评估。TableTime(Wang等,2025)和FETA(Sui等,2025)使用通用语言模型结合文本表格或通道级示例推理,而iAmTime(Saha和Shmakov,2026)将分类视为通用指令条件框架中的一项任务。同时,RocketPFN(O'Rourke等,2026b)将随机卷积特征与预训练表格上下文分类器相结合。TimEE(Küken等,2026)从UCR数据集的训练部分构建增强分类任务以训练上下文分类器。这些方法展示了免训练时间序列分类的潜力,但未能同时学习分类特定的时间与跨通道表征并适应可变通道数。ChorusTIC通过双轴编码和episode一致的固定维度组合解决了这一空白。 #### 合成预训练。合成数据支持构建预测语料库、表征学习数据集和完整分类任务(Ansari等,2024;Xie等,2025;Feofanov等,2026;Yeh等,2025;Küken等,2026)。ChorusTIC通过与其部署协议对齐的多元episode先验来补充这些工作:上下文和查询样本共享任务级背景,而稀疏时间或跨通道判别规则决定类别标识。进一步讨论和详细比较见附录A。 ## 方法 ### 问题定义与模型概述 对于分类任务τ,令Cτ={\(X_i^c,y_i^c\)\}_{i=1}^{N_c}和Qτ={X_j^q}_{j=1}^{N_q}分别表示有标签上下文集和无标签查询集。每个X_i^c,X_j^q∈ℝ^{C×L}包含C个通道和L个时间步,任务特定的C和L在τ内固定。令X^c=[X_1^c;...;X_{N_c}^c]和X^q=[X_1^q;...;X_{N_q}^q]为堆叠输入,Y^c=(y_1^c,...,y_{N_c}^c)和Y^q=(y_1^q,...,y_{N_q}^q)为其标签。我们对p_Θ(Y^q∣X^q,C_τ)建模,无需目标任务参数更新。参见图1:ChorusTIC概述。给定有标签上下文和无标签查询,信号级Chorus在整个episode中使用一个RSSC通道到槽位分配。每个采样组由共享双轴编码器处理,捕捉槽位内的时间结构和跨槽位的通道交互。共享读出模块总结每个编码槽位,固定顺序拼接为每个样本生成固定宽度表征。任务级Chorus在行级交互前从仅上下文分布校准特征轴。最后,防泄漏的ICL Transformer基于有标签上下文预测每个查询,同时防止查询间直接信息交换。 如图1(https://arxiv.org/html/2608.24033#Sx3.F1)所示,ChorusTIC分三个阶段执行Chorus ICL。首先,RSSC采样episode级通道到槽位分配,共享双轴编码器建模时间和组内跨通道交互,然后进行固定顺序槽位组合。其次,列分布建模利用上下文分布校准特征轴,行级交互形成样本级表征。最后,防泄漏的ICL Transformer基于上下文标签条件,并行预测所有查询。 令T=N_c+N_q,X_τ=[X^c;X^q]∈ℝ^{T×C×L},I表示episode内共享的RSSC分配。整体计算为: H = R_ψ(X_τ; I), U = A_φ(H; N_c), O^q = G_θ(U, Y^c, N_c). 其中H∈ℝ^{T×d_h},U∈ℝ^{T×d_u},O^q∈ℝ^{N_q×K}。算子R_ψ、A_φ和G_θ分别表示基于RSSC的信号编码器、任务级校准与行级交互以及防泄漏的上下文分类器。此外,Y^c∈\{1,...,K\}^{N_c},K为类别数。
相似文章
Chronicle:用于联合语言和时间序列理解的多模态基础模型
Chronicle 是一个 324M 参数的纯解码器 Transformer,从零开始在自然语言和时间序列上预训练,在 NLU 和时间序列分类任务上取得了有竞争力的性能,并在 UCR/UEA 数据集上的冻结嵌入时间序列分类中创造了新的最先进水平。
多样本思维链上下文学习:让上下文学习真正学会
本文研究了推理任务的多样本思维链上下文学习,揭示了标准扩展规则并不适用,并提出了Curvilinear Demonstration Selection (CDS)方法以改进示例排序,最高可获得5.42个百分点的性能提升。
ConceptTS: LLM引导的概念瓶颈用于可解释的多元时间序列预测
ConceptTS 引入了一个可解释的预测框架,该框架使用大语言模型为多元时间序列预测提出人类可读的概念,通过概念瓶颈在保持透明度的同时实现了具有竞争力的准确性。
RMISC:用于时间序列基础模型的大规模真实世界多变量语料库
介绍RMISC,一个包含约200个数据集和1420亿个时间点的大规模真实世界多变量时间序列语料库,并证明在真实世界多变量数据上预训练时间序列基础模型相比合成数据能提升零样本泛化能力。
CALAD: 通道感知对比学习用于多变量时间序列异常检测
提出了CALAD,一个用于多变量时间序列异常检测的通道感知对比学习框架,该框架利用估计的通道相关性构建对比样本,实现了最先进的性能。