论文页面 - 一种基于最优传输理论的在线增量学习潜空间培育方法

来源：https://huggingface.co/papers/2211.16780

摘要

一种基于最优传输理论的在线混合模型学习框架，通过实现动态质心更新和改进类别相似度估计，应对增量学习中的分布漂移挑战。

在在线增量学习（https://huggingface.co/papers?q=online%20incremental%20learning）场景中，数据持续到达且存在显著的分布漂移（https://huggingface.co/papers?q=distributional%20shifts），这对学习新任务构成了重大挑战，因为先前样本的重放价值有限。以往的研究通常依赖于单一的适应性质心（https://huggingface.co/papers?q=adaptive%20centroid）或多个固定质心（https://huggingface.co/papers?q=fixed%20centroids）来表示潜空间（https://huggingface.co/papers?q=latent%20space）中的每个类别。然而，当类别数据流本身具有多模态特性且需要持续更新质心时，这些方法往往效果不佳。为了克服这一局限，我们引入了一种基于最优传输理论（https://huggingface.co/papers?q=Optimal%20Transport%20theory）的在线混合模型（https://huggingface.co/papers?q=Mixture%20Model）学习框架（MMOT），使质心能够随新数据逐步演化。该方法具有两大优势：（i）能够更精确地刻画复杂的数据流；（ii）通过MMOT派生的质心，在推理阶段实现对未见样本更优的类别相似度估计（https://huggingface.co/papers?q=class%20similarity%20estimation）。此外，为了强化表征学习（https://huggingface.co/papers?q=representation%20learning）并缓解灾难性遗忘（https://huggingface.co/papers?q=catastrophic%20forgetting），我们设计了一种动态保留策略（https://huggingface.co/papers?q=Dynamic%20Preservation%20strategy），该策略能够调控潜空间（https://huggingface.co/papers?q=latent%20space）并随时间维持类别可分性（https://huggingface.co/papers?q=class%20separability）。在基准数据集上的实验评估证实了我们所提出方法的卓越有效性。

查看arXiv页面（https://arxiv.org/abs/2211.16780）查看PDF（https://arxiv.org/pdf/2211.16780）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2211.16780）

在你的agent中获取这篇论文：

hf papers read 2211.16780

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2211.16780 即可从此页面链接。

引用此论文的数据集0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2211.16780 即可从此页面链接。

引用此论文的Spaces0

没有链接此论文的Space

在Space README.md 中引用 arxiv.org/abs/2211.16780 即可从此页面链接。

包含此论文的收藏集0

没有包含此论文的收藏集

将此论文添加到一个收藏集（https://huggingface.co/new-collection）中，即可从此页面链接。