论文页面 - 一次蒸馏，终身适应：探索数据集蒸馏用于持续测试时适应

来源：https://huggingface.co/papers/2606.20196

摘要

DO-ALL 是一种测试时适应框架，它利用数据集蒸馏创建合成锚点，从而在不保留源数据的情况下实现稳定的长期模型性能。

持续测试时适应（https://huggingface.co/papers?q=Continual%20Test-Time%20Adaptation）（CTTA）旨在通过在线适应无标签数据来维持模型在演化目标域下的性能。然而，实际部署中常因隐私或许可限制无法保留源数据集，而纯无源 CTTA 方法在长期分布偏移下容易变得不稳定，遭受递增的自训练错误和灾难性遗忘（https://huggingface.co/papers?q=catastrophic%20forgetting）。我们提出 DO-ALL（一次蒸馏，终身适应），这是一个即插即用的框架，通过数据集蒸馏（https://huggingface.co/papers?q=Dataset%20Distillation）（DD）以紧凑且保护隐私的形式重新利用源信息。部署前，DO-ALL 执行 DD 生成少量合成蒸馏锚点，概括源数据分布。适应过程中，每个目标样本与其语义最匹配的锚点对齐，该锚点通过源回放（https://huggingface.co/papers?q=source%20replay）、表示对齐（https://huggingface.co/papers?q=representation%20alignment）和流形平滑正则化（https://huggingface.co/papers?q=manifold-smoothing%20regularization）为各种 CTTA 方法提供稳定参考。DO-ALL 可无缝集成到现有 CTTA 算法中，在 CIFAR100-C（https://huggingface.co/papers?q=CIFAR100-C）、ImageNet-C（https://huggingface.co/papers?q=ImageNet-C）和 CCC 基准测试（https://huggingface.co/papers?q=CCC%20benchmark）上持续提升长期鲁棒性。这展示了利用 DD 实现无需保留原始源数据的稳定持续适应的潜力。代码可在 https://github.com/blue-531/DOALL 获取。

查看 arXiv 页面（https://arxiv.org/abs/2606.20196）查看 PDF（https://arxiv.org/pdf/2606.20196）GitHub2（https://github.com/blue-531/DOALL）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.20196）

将此论文加入您的 agent：

hf papers read 2606\.20196

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.20196 以从此页面链接。

引用此论文的数据集0

没有数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.20196 以从此页面链接。

引用此论文的 Spaces0

没有 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.20196 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到收藏集（https://huggingface.co/new-collection）以从此页面链接。