漂移发生：关于神经架构对时间分布偏移鲁棒性的实证研究

# 1 引言 来源：https://arxiv.org/html/2607.05908 marginparsep 已被修改。topmargin 已被修改。marginparpush 已被修改。页面布局违反了 ICML 格式要求。请勿更改页面布局，或引入 geometry、savetrees、fullpage 等包来修改布局。我们无法可靠地撤销对样式的任意修改。请移除违规的包或布局修改命令，然后重试。漂移发生：神经架构对时间分布偏移鲁棒性的实证研究 Robin Holzinger111两位作者贡献相同。Riccardo Colletti111两位作者贡献相同。美国加州大学伯克利分校电气工程与计算机科学系。扩展版本。已被 QCDS 2026 接收；会议论文将发表在 Springer LNCS 系列中。###### 摘要 现实世界的数据分布随时间演化，引发时间分布偏移，这可能会严重降低已部署机器学习系统的可靠性。然而，架构选择及其相关的归纳偏置在多大程度上影响时间鲁棒性，目前尚不充分了解。我们提出了一项系统性的实证比较，涵盖三个异构的、带时间索引的领域：图像分类、多标签文本分类和文本回归任务。基于时间漂移矩阵的统一评估框架，我们在累积历史数据上训练模型，并评估其在早期和后期时间段上的性能，从而量化跨时间泛化能力。我们的研究涵盖了从简单多层感知机、卷积网络到循环网络和预训练 Transformer 编码器等模型系列。综合来看，结果表明架构归纳偏置系统地塑造了时间鲁棒性：那些使模型倾向于利用局部、高判别性特征的归纳偏置，在分布内准确率最高，但这些特征通常随时间变化最快，因此这些模型退化也最快；而依赖更粗糙、更稳定表征的预训练编码器，其漂移则更为平缓。这些观察结果为在面临时间漂移的现实系统中选择架构提供了实用指导。机器学习模型通常基于训练数据和测试数据来自同一分布的假设进行训练。实际上，这一假设很少成立：现实世界的数据随时间演化，产生时间分布偏移，这种偏移会以标准留出评估无法捕捉的方式降低模型性能。一个在同期留出数据上达到高准确率的模型，在应用于未来输入时可能会失效。虽然分布偏移已有充分文献记载，但架构选择如何影响模型对时间漂移的鲁棒性，我们了解得还较少。> *不同的归纳偏置（卷积的平移不变性、循环网络的序列建模、Transformer 的注意力机制）会导致不同的时间退化速率吗？* *冻结的预训练编码器是否比端到端训练的模型更能抵抗时间漂移？* 这些问题对模型选择具有实际意义，但跨架构和领域的系统性比较仍然稀缺。本研究调查了神经分类器在三个领域中的时间鲁棒性：图像分类（Yearbook）、文本回归（Amazon Reviews）和多标签文本分类（arXiv）。对于每个领域，我们使用基于时间漂移矩阵的统一框架评估了从简单基线到预训练 Transformer 的多种架构，并通过梯度显著性图提供了模型退化的定性解释。我们的贡献有三方面：- •我们提供了对三个长期、带时间索引领域中时间鲁棒性的统一实证评估，使得直接比较神经架构在时间分布偏移下的表现成为可能。- •我们借鉴 Wild-Time[39 (https://arxiv.org/html/2607.05908#bib.bib13)] 的精神，将时间索引评估组织为时间漂移矩阵，这是一种紧凑表示，通过测量在累积历史数据上训练后对早期和后期时间段的性能来量化跨时间泛化能力。- •我们系统性地比较了广泛的模型系列，包括多层感知机、卷积和残差网络、循环网络、在数据上训练的 Transformer 以及冻结的预训练编码器，突出了架构假设如何与跨模态和任务的退化模式相关联。综合来看，我们的结果描述了随着训练和评估之间的时间间隔增大，性能如何在各个领域和模型类别中下降。归纳偏置在训练期内提取的特征提升了分布内性能，但这些特征与训练期关联最紧密，当数据漂移时也是最先退化的，因此那些使模型在分布内准确的特性恰恰是时间上最不鲁棒的。依赖更粗糙、更具可迁移性表征的冻结预训练编码器，则以牺牲分布内准确率为代价换取更稳定的退化过程。这些发现为非平稳现实环境中架构选择提供了指导。## 2 背景与相关工作 ### 2.1 时间分布偏移 现实世界机器学习系统中的一个核心挑战是数据生成过程很少是平稳的。随着模型部署数月、数年或数十年，输入和标签语义都可能演化，导致训练时遇到的分布与推理时观察到的分布之间存在系统性差异。这种时间演化通常被称为*时间分布偏移*，在各个领域都很普遍。理解这种偏移的结构对于评估和提高时间鲁棒性至关重要。然而，先前的工作主要集中在静态或领域级分布偏移上[3 (https://arxiv.org/html/2607.05908#bib.bib33);14 (https://arxiv.org/html/2607.05908#bib.bib34);23 (https://arxiv.org/html/2607.05908#bib.bib32)]，而很少关注随时间顺序展开的漂移，尤其是在非生成、现实野外环境中[39 (https://arxiv.org/html/2607.05908#bib.bib13)]。根据概念漂移研究中既定的术语[11 (https://arxiv.org/html/2607.05908#bib.bib30)]，时间分布偏移可以沿着三个互补的轴进行表征（图1 (https://arxiv.org/html/2607.05908#S2.F1)）：协变量漂移发生在输入分布 P(X) 变化而条件分布 P(Y|X) 保持不变时。这种漂移通常出现在自然数据流中，其中观察设置、社会文化惯例或用户行为逐渐演变。标签漂移指的是标签边际分布 P(Y) 的变化。长期文本或行为数据集经常表现出这种不平衡漂移，因为主题、类别或评分模式随时间变化。概念漂移指的是条件分布 P(Y|X) 的变化，意味着相同输入在不同时间点可能对应不同标签。这种漂移在语义或视觉属性演变的领域中尤为突出，例如历史肖像[12 (https://arxiv.org/html/2607.05908#bib.bib35)]或在线平台。在实践中，这些漂移很少单独发生，往往同时出现[2 (https://arxiv.org/html/2607.05908#bib.bib22)]。因此，模型的时间鲁棒性不仅取决于漂移的幅度，还取决于其架构假设和归纳偏置如何与演化中的数据分布交互。 ### 2.2 模型对分布偏移的鲁棒性 原始概念漂移协变量漂移（虚拟漂移）标签漂移 图 1：二分类设置中的漂移类型。圆形和星形表示标签类别；曲线表示决策边界。概念漂移导致决策边界变化，协变量漂移（虚拟漂移）改变输入分布，标签漂移改变相对类别频率[19 (https://arxiv.org/html/2607.05908#bib.bib16)]。理解学习算法在分布偏移下的行为已成为一个重要研究方向。早期工作通过领域自适应[3 (https://arxiv.org/html/2607.05908#bib.bib33)]和分布外泛化[14 (https://arxiv.org/html/2607.05908#bib.bib34)]来研究鲁棒性，将偏移形式化为少数离散源域和目标域之间的转移。大规模基准测试如 WILDS[23 (https://arxiv.org/html/2607.05908#bib.bib32)]（关注自然发生的分布偏移但无显式时间索引），以及最近的 Wild-Time[39 (https://arxiv.org/html/2607.05908#bib.bib13)]（显式建模时间索引数据和时间分布偏移），通过提供更接近现实部署场景的评估协议拓宽了这一视角。另一条互补的研究路线通过模型诊断和监控来考察鲁棒性。通过检查潜在表征或预测不确定性的变化来检测漂移发生的方法，在深度学习环境中显示出前景[29 (https://arxiv.org/html/2607.05908#bib.bib31);1 (https://arxiv.org/html/2607.05908#bib.bib12)]。最近的实证分析描述了概念漂移在实践中的表现形式，包括其在大规模数据流中的局部性和时间进展[2 (https://arxiv.org/html/2607.05908#bib.bib22)]。在系统层面，关于以数据为中心和持续学习基础设施的工作，探索了如何通过成本感知的重训练和流水线编排来随时间保持模型质量[26 (https://arxiv.org/html/2607.05908#bib.bib18);27 (https://arxiv.org/html/2607.05908#bib.bib19);34 (https://arxiv.org/html/2607.05908#bib.bib20);4 (https://arxiv.org/html/2607.05908#bib.bib7);19 (https://arxiv.org/html/2607.05908#bib.bib16)]。尽管取得了这些进展，鲁棒性研究通常集中在对单一架构跨多个数据集进行评估，或对单一数据集使用少数几种架构进行比较。因此，关于架构设计选择如何与跨异构模态和任务的长期时间漂移交互，我们知之甚少。考虑到现代神经模型展现的多种归纳偏置（卷积网络编码局部性和平移等变性，循环网络捕捉序列结构[18 (https://arxiv.org/html/2607.05908#bib.bib27);5 (https://arxiv.org/html/2607.05908#bib.bib28)]，基于 Transformer 的编码器依赖具有最少结构先验的自注意力[35 (https://arxiv.org/html/2607.05908#bib.bib25)]），这一差距尤为相关。同样，视觉和语言中的大规模预训练[8 (https://arxiv.org/html/2607.05908#bib.bib26);24 (https://arxiv.org/html/2607.05908#bib.bib29)]引入了由广泛历史数据塑造的表征，但它们在长时间漂移下的行为仍缺乏描述。本研究通过在一个共享的时间评估协议下、跨多种模态比较这些架构家族，来解决这一开放问题，从而控制分析模型设计如何影响在现实时间分布偏移下的鲁棒性。 ### 2.3 鲁棒性评估与时间自适应 本工作评估神经架构在分布偏移下的固有时间鲁棒性，测量仅使用累积历史数据训练的不同模型系列，在训练与评估的时间间隔增大时的性能。这隔离了仅由架构设计和预训练带来的鲁棒性，在采取任何自适应干预之前。另一条互补的研究路线则调查模型在检测到漂移后如何*自适应*，通过计划的或成本感知的重训练[26 (https://arxiv.org/html/2607.05908#bib.bib18);27 (https://arxiv.org/html/2607.05908#bib.bib19)]、持续学习流水线[34 (https://arxiv.org/html/2607.05908#bib.bib20);4 (https://arxiv.org/html/2607.05908#bib.bib7);19 (https://arxiv.org/html/2607.05908#bib.bib16)]或准确率感知的数据维护[38 (https://arxiv.org/html/2607.05908#bib.bib21)]，解决何时重训练、纳入多少数据以及如何在性能与成本之间权衡。我们的研究与这些文献是正交的，并为设计和评估这些自适应策略提供了基础。 ## 3 方法与实验方法 时间分布偏移在不同模态、任务和时间尺度上表现各异，但现有的实证研究通常一次只变化一个轴，留下了*架构设计*、*标签结构*和*漂移机制*如何共同塑造时间鲁棒性的问题（第2节 (https://arxiv.org/html/2607.05908#S2)）。我们的设置正是针对这种跨领域比较：我们结合三个长期、带时间索引的数据集和一套涵盖多种归纳偏置的多样化神经架构，全部在第4节 (https://arxiv.org/html/2607.05908#S4)（时间漂移矩阵）的统一时间协议下评估，使得观察到的鲁棒性模式由架构差异驱动，而非分割或评估差异。 ### 3.1 数据集 我们的实证分析涵盖三个定性不同的时间场景，选择覆盖不同的模态、任务和分布偏移来源。每个数据集捕捉了数十年现实世界的时间演化，适用于跨时间评估。 #### 3.1.1 Yearbook：一个世纪的肖像 Yearbook 数据集[13 (https://arxiv.org/html/2607.05908#bib.bib1)]包含 37,921 张 1905 年至 2013 年间美国高中毕业生的正面肖像，我们将其对齐并处理为 3 通道 32×32 张量。尽管采集过程基本标准化，但风格属性（例如发型、服装、配饰）在几十年间变化显著。该数据集提供随时间大致平衡的二值性别标签。它是时间偏移的经典基准：Wild-Time[39 (https://arxiv.org/html/2607.05908#bib.bib13)] 使用 1970 年前/后划分，并报告了显著的分布外退化；Modyn[4 (https://arxiv.org/html/2607.05908#bib.bib7)] 观察到随着训练-测试时间间隔增大，准确率下降。我们复现了这一趋势（图2 (https://arxiv.org/html/2607.05908#S5.F2)），与协变量漂移和概念漂移一致。 #### 3.1.2 Amazon Reviews 2023：电子商务 Amazon Reviews 数据集[20 (https://arxiv.org/html/2607.05908#bib.bib15)]包含 5.7154 亿条评论，涵盖 33 个产品类别，时间跨度从 1996 年 5 月到 2023 年 9 月。每条评论带有时间戳、星级评分和自由文本内容。我们将其定义为评论级情感回归任务，根据文本预测 1-5 分评分。由于语言、消费者行为和平台使用的演变，该数据集表现出强烈的协变量和概念漂移。我们聚焦于七个类别，限制在 2014-2023 年，并抽取了 300,000 条评论的分层样本。 #### 3.1.3 arXiv：科学话语 arXiv 数据集[7 (https://arxiv.org/html/2607.05908#bib.bib2)]定义了一个多标签任务，包含 2,866,787 条标题-摘要记录，标注了 176 个主题类别。我们将标题和摘要拼接，保留七个叶子类别（附录