面向文化遗产的包容性轻量级联邦持续学习方法

# 面向文化遗产的联邦持续学习：一种包容性轻量化方法
来源：https://arxiv.org/html/2608.20038
作者：Ioannis Theologitis1, Debin Meng2, Stylianos Eleftheriadis1, Vasileios Lolis1, Konstantinos Votis1
单位：1希腊塞萨洛尼基 信息技术研究所，研究中心与技术 Hellas  2英国伦敦皇后玛丽大学 电子工程与计算机科学学院
邮箱：\{theolo, stylelev, vaslwlis, kvotis\}@iti\.gr   debin\.meng@qmul\.ac\.uk

###### 摘要

人工智能可以通过大规模检索和分析数字化藏品来支持文化遗产与数字人文研究。然而，文化遗产数据通常分布在不同机构中，受限于所有权和访问限制，并随时间持续演变。联邦持续学习（FCL）非常适合此场景，它使模型能够从分布式、序列化的数据中学习，而无需共享原始藏品。本文提出FedCurv\-DR，一种基于正则化的轻量化FCL策略。该方法在客户端和经验间累积参数重要性估计以保护已学习知识，同时仅按固定间隔更新这些估计，以最小化通信和计算开销。我们在持续学习场景中使用WikiArt图像数据集评估FedCurv-DR的体裁分类性能（涉及演变的艺术风格），并报告了性能、能耗和公平性指标。结果表明，FedCurv-DR减少了遗忘现象，并在性能、公平性和能效之间取得平衡，促进了文化遗产领域可持续AI的发展。

###### 索引关键词：

联邦持续学习、文化遗产、wikiart、图像分类、能效、公平性、隐私

本文为已被2026年IEEE国际网络人文会议（IEEE-CH 2026，意大利威尼斯，2026年9月7-9日）收录论文的作者接受稿。© 2026 IEEE。允许个人使用本文材料。其他所有用途，包括以当前或未来任何媒体形式转载/出版本材料用于广告或促销目的、创建新的集体作品、转售或再分发至服务器或列表，或在其他作品中重用本作品的任何受版权保护组件，均须获得IEEE许可。

## I引言

人工智能正被越来越多地应用于包括文化遗产在内的多个领域\[13 (https://arxiv.org/html/2608.20038#bib.bib13)\]。然而，文化遗产数据带来了特定的伦理和技术挑战。藏品通常分布在不同机构中，并通过数字化过程持续演变。数字化过程也可能复制现有的社会文化偏见，包括少数群体的代表不足或误代表。这些偏见随后可能被训练于此类藏品的AI管道所继承或放大\[14 (https://arxiv.org/html/2608.20038#bib.bib11), 38 (https://arxiv.org/html/2608.20038#bib.bib14)\]。此类偏见可能源于文化遗产数据获取的不平等，因为所有权、版权、许可和隐私限制会限制藏品用于计算研究和AI开发的可用性\[9 (https://arxiv.org/html/2608.20038#bib.bib9)\]。同时，机构参与数字化和AI应用的能力不平等可能进一步加剧这种偏见，因为许多文化遗产组织面临资金有限、技术专长不足和资源密集型数字化需求等问题\[11 (https://arxiv.org/html/2608.20038#bib.bib8)\]。

这些挑战凸显了对绿色、可信且包容的AI解决方案的需求——这是网络人文愿景的核心原则，呼吁文化遗产技术将技术创新与伦理治理和公平参与相结合\[2 (https://arxiv.org/html/2608.20038#bib.bib3), 5 (https://arxiv.org/html/2608.20038#bib.bib4)\]。联邦学习（FL）支持在不共享原始数据的情况下进行协作模型训练\[23 (https://arxiv.org/html/2608.20038#bib.bib26)\]，而持续学习（CL）使模型能够适应顺序到达的数据而无需从头重训。二者结合——联邦持续学习（FCL）——能够支持绿色AI目标，并且非常适合文化遗产场景\[29 (https://arxiv.org/html/2608.20038#bib.bib12)\]。如图1 (https://arxiv.org/html/2608.20038#S1.F1)所示，全球的艺术机构可以在尊重数据敏感性的同时，基于其私有且不断演变的藏品协作训练AI模型。然而，为确保此过程的平等参与，部署此类系统时必须考虑能效和公平性。

参见图注

图 1：联邦持续学习过程概览。欧洲的艺术机构协作训练一个用于图像分类的单一全球模型，模型基于其不断演变的藏品，无需共享私有数据。机构定期向受信任的协调方运营的服务器发送模型更新（而非原始数据），服务器将这些更新聚合为共享的全球模型。
在本工作中，我们提出了一种用于文化遗产图像分类的轻量化、无示例的FCL框架。我们引入FedCurv-DR，一种基于正则化的策略，它定期跨客户端聚合参数重要性信息以适应新数据（或经验），同时在不依赖重放缓冲区或计算密集型方法（如合成数据生成）的情况下保持对历史数据的性能。我们在WikiArt（一个与文化遗产和数字人文相关的大规模公共艺术数据集）上评估FedCurv-DR。通过将体裁分类设定为固定目标，并将艺术风格序列化作为新经验引入，我们建模了一个现实的领域增量场景，其中数字化的文化藏品随时间演变。

本文的主要贡献如下：
- •我们提出了FedCurv-DR，一种适合文化遗产领域的轻量化、基于正则化的FCL策略。
- •我们在公共WikiArt图像数据集上评估了该方法，任务为基于风格的持续经验下的体裁分类。
- •我们报告了性能、能耗和公平性指标，以根据绿色AI原则评估我们方法的可持续性\[26 (https://arxiv.org/html/2608.20038#bib.bib15)\]。

## II相关工作

### II\-A联邦学习

在联邦学习（FL）中，多个客户端在中心服务器的协调下协作训练一个共享的全球模型，同时保持其数据本地化和私密性。客户端不在本地交换原始数据，而是本地训练模型并定期将模型更新发送至服务器进行聚合。服务器端用于组合这些更新的聚合算法通常被称为FL策略。一个代表性的基线FL策略是FedAvg\[23 (https://arxiv.org/html/2608.20038#bib.bib26)\]，它通过按本地数据集大小加权平均客户端参数来构建全球模型。

尽管FL在隐私保护和可扩展性方面具有优势，但它引入了若干关键挑战。在实际场景中，客户端数据通常不是独立同分布的（非IID）。例如在文化遗产领域，国家博物馆与地方画廊的文物数量可能差异显著，而语义分布可能因风格、时期或艺术运动而异。这种异构性可能导致本地模型在训练期间发散，因为每个客户端都针对其自身的数据分布进行优化，从而阻碍全球模型的收敛。这种现象通常被称为客户端间漂移\[25 (https://arxiv.org/html/2608.20038#bib.bib25)\]。已提出多种FL策略以应对异构数据条件下的这一挑战\[16 (https://arxiv.org/html/2608.20038#bib.bib33), 18 (https://arxiv.org/html/2608.20038#bib.bib32), 27 (https://arxiv.org/html/2608.20038#bib.bib28), 32 (https://arxiv.org/html/2608.20038#bib.bib19), 4 (https://arxiv.org/html/2608.20038#bib.bib21)\]。

然而，尽管这些方法大多旨在改善非IID条件下的性能，它们可能仍然偏向更大或更具代表性的客户端，导致模型在主导数据分布上表现更好，而忽视了代表不足的参与者。这可能引入或强化公平性问题，特别是在未明确报告跨客户端性能差异时。因此，若干研究调查了FL中的公平性，并提出了公平感知策略以缓解客户端级偏差\[17 (https://arxiv.org/html/2608.20038#bib.bib22), 12 (https://arxiv.org/html/2608.20038#bib.bib16), 35 (https://arxiv.org/html/2608.20038#bib.bib30), 20 (https://arxiv.org/html/2608.20038#bib.bib17), 36 (https://arxiv.org/html/2608.20038#bib.bib31)\]。

### II\-B持续学习

持续学习（CL）解决了从随时间到达的任务流或数据分布中学习的问题，无需从头重训。此场景中的一个核心挑战是灾难性遗忘\[15 (https://arxiv.org/html/2608.20038#bib.bib27)\]，即模型在新任务上训练时会快速丧失先前获取的知识。为缓解此问题，已提出多种方法。基于正则化的方法，如弹性权重巩固（EWC）\[15 (https://arxiv.org/html/2608.20038#bib.bib27)\]、记忆感知突触（MAS）\[3 (https://arxiv.org/html/2608.20038#bib.bib36)\]和突触智能（SI）\[34 (https://arxiv.org/html/2608.20038#bib.bib37)\]，估计模型参数对过去任务的重要性，并在后续训练中惩罚对这些参数的更改。另一方面，基于重放的方法\[22 (https://arxiv.org/html/2608.20038#bib.bib6), 24 (https://arxiv.org/html/2608.20038#bib.bib7)\]维护一个过去示例的缓冲区，允许模型在学习新信息时复习先前知识。研究表明，在多种持续学习场景中，重放方法优于基于正则化的方法\[31 (https://arxiv.org/html/2608.20038#bib.bib34)\]，但它们引发了可扩展性和隐私相关问题，因为需要存储历史数据。

### II\-C联邦持续学习

联邦持续学习（FCL）结合了联邦学习和持续学习的挑战，要求模型同时应对跨客户端的数据异构性和新数据或经验的顺序到达。在此场景中，客户端间漂移和灾难性遗忘都必须得到缓解，这使得学习过程显著复杂化。已提出多种方法来应对这些挑战\[33 (https://arxiv.org/html/2608.20038#bib.bib29), 30 (https://arxiv.org/html/2608.20038#bib.bib20), 37 (https://arxiv.org/html/2608.20038#bib.bib18)\]。

尽管这些方法有效，但许多FCL方法引入了额外的计算和通信开销，例如通过合成数据生成\[37 (https://arxiv.org/html/2608.20038#bib.bib18)\]。这些因素可能显著增加能耗，特别是在大规模或资源受限的部署中，甚至可能使此类方法在实践中不可行。这对于构建包容性的文化遗产AI生态系统是一个关键考量。与基于蒸馏或生成的FCL方法不同，我们的方法不需要重放数据、内存缓冲区或计算密集型机制。相反，它依赖于参数重要性正则化，并减少了通信和计算开销。

## III方法

为实现轻量化且无示例的联邦持续学习，我们在本地训练期间实现了持续学习。这引导我们探索了FedCurv\[27 (https://arxiv.org/html/2608.20038#bib.bib28)\]，并结合了关于EWC策略的最新发现\[19 (https://arxiv.org/html/2608.20038#bib.bib38)\]。我们的方法降低了原始FedCurv策略的通信和计算成本，并将其重新用于缓解灾难性遗忘。

### III\-A弹性权重巩固

弹性权重巩固（EWC）被提出以缓解灾难性遗忘\[15 (https://arxiv.org/html/2608.20038#bib.bib27)\]。该方法在每次经验训练后，使用当前训练数据集计算一个Fisher信息矩阵。该矩阵代表每个模型参数对相应经验的重要性。参数θi在经验t后的对角Fisher重要性近似为：

Ft,i=1\|Dt\|∑\(x,y\)∈Dt\(∂∂θilog⁡pθ\(y\|x\)\)2\.  (1)

在后续经验中，此矩阵用于计算训练损失的惩罚项。EWC目标定义为：

LEWC\(θ\)=Ltask\(θ,Dt\)\+λ2∑iFt−1,i\(θi−θt−1,i∗\)2,  (2)

其中Ltask是标准任务损失，λ控制正则化强度，θt−1∗表示学习上一个经验后的模型参数。此项通过惩罚对重要模型参数的更改来保护先前学习的知识，鼓励优化器在学习未来经验时更新较不重要的参数。

在EWC的原始版本中，为每个经验计算不同的Fisher矩阵，这可能引入可扩展性问题。在线EWC通过使用衰减因子聚合Fisher矩阵来提高内存效率，该因子控制过去经验对当前惩罚的贡献：

F ̄t,i=βF ̄t−1,i\+Ft,i,  (3)

其中F ̄t,i是累积重要性估计，β∈\[0,1\]是衰减因子。

### III\-BFedCurv

FedCurv\[27 (https://arxiv.org/html/2608.20038#bib.bib28)\]将基于正则化的持续学习策略（如EWC）应用于联邦学习环境。然而，它是为解决客户端异构性而非灾难性遗忘而设计的。FedCurv提出在每轮训练后将客户端的Fisher矩阵求和为一个全局Fisher矩阵，该矩阵随后用于约束本地更新朝向全局共识，并缓解客户端漂移。

设Sr为通信轮r中选定的客户端集，Fk,ir表示客户端k计算的参数θi的Fisher重要性。服务器聚合客户端重要性如下：

FG,ir=∑k∈SrFk,ir\.  (4)

客户端在本地训练期间使用此全局Fisher矩阵来应用公式(2)中的EWC惩罚。通过这种方式，它们避免了更改对其他客户端分布重要的参数，有助于模型在非IID设置下实现稳定收敛。

### III\-CLogit反转

在最近的工作\[19 (https://arxiv.org/html/2608.20038#bib.bib38)\]中，作者提出了EWC-DR，这是对EWC中Fisher矩阵计算的一种改进。他们观察到，当模型对正确类别赋予高置信度时，公式(1)中的标准Fisher估计存在...