论文页 - 通过双层路由混合专家模型将持续学习扩展到 300 多个任务

来源：https://huggingface.co/papers/2602.03473

摘要

提出了一种名为 CaRE 的新型持续学习框架，该框架具有双层路由混合专家（Bi-Level Routing Mixture-of-Experts）机制，用于类增量学习，在超过 300 个任务的超长任务序列上展现出卓越的性能。

持续学习（https://huggingface.co/papers?q=Continual%20learning），特别是基于预训练模型（https://huggingface.co/papers?q=pre-trained%20model）(PTM) 的类增量学习（https://huggingface.co/papers?q=class-incremental%20learning）(CIL)，近年来引发了大量的研究兴趣。然而，如何在超长任务序列中保持稳定性与可塑性，同时有效地学习判别性和全面的特征表示，仍是一个未解的难题。我们提出了 CaRE，一种可扩展的 {C}ontinual Le{a}rner，配备了高效的双层 {R}outing Mixture-of-{E}xperts (BR-MoE)。BR-MoE 的核心思想是双层路由（https://huggingface.co/papers?q=bi-level%20routing）机制：首先是一个路由器选择阶段，动态激活相关的任务特定路由器（https://huggingface.co/papers?q=task-specific%20routers），随后是一个专家路由（https://huggingface.co/papers?q=expert%20routing）阶段，动态激活并聚合专家，旨在将判别性和全面的表示（https://huggingface.co/papers?q=comprehensive%20representations）注入到每一个中间网络层中。另一方面，我们引入了一个具有挑战性的数据集 OmniBenchmark-1K (https://huggingface.co/papers?q=OmniBenchmark-1K)，用于评估 CIL 在包含数百个任务的超长任务序列上的性能。大量实验表明，CaRE 在各种数据集和任务设置下均表现出领先性能，包括采用经典 CIL 设置（例如 5-20 个任务）的常用 CIL 数据集。据我们所知，CaRE 是首个能够扩展到超长任务序列（范围从 100 到超过 300 个非重叠任务）的持续学习模型，并且在此类任务序列上以较大优势超越所有基线模型。我们希望这项工作能激发人们对极长任务序列上持续学习（https://huggingface.co/papers?q=continual%20learning）的进一步研究。代码和数据集已公开发布，地址为 https://github.com/LMMMEng/CaRE。

查看 arXiv 页面 (https://arxiv.org/abs/2602.03473)查看 PDF (https://arxiv.org/pdf/2602.03473)GitHub5 (https://github.com/LMMMEng/CaRE)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2602.03473)

在你的 agent 中获取此论文：

hf papers read 2602\.03473

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2602.03473 即可从此页面链接它。

引用此论文的数据集0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2602.03473 即可从此页面链接它。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2602.03473 即可从此页面链接它。

包含此论文的合集0

没有合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection)即可从此页面链接它。