论文页面 - I Have a Stream: Making Self-Supervised Learning Work on Continuous Video

来源：https://huggingface.co/papers/2609.40333

摘要

自监督学习借鉴了婴儿视觉发育的启发，然而标准训练流程与之几乎没有相似之处：图像被独立采样，并在不同 epoch 之间被全局打乱。我们研究了基于连续视频流的自监督学习，其中帧按时间顺序被消费，采用严格的滑动窗口批处理，既不做全局重排，也不进行跨多个 epoch 的回放。为此，我们构建了 WT++，一个用于流式预训练的 95 小时城市漫步旅游视频数据集。结合一套全面的评估套件，我们发现对比学习和蒸馏类方法在这种设置下表现不佳，而 MAE 更为鲁棒，但仍达不到标准 i.i.d.（独立同分布）预训练的效果。我们发现，由连续批次之间滑动窗口消费方式所导致的高批次间相似度并不能解释这一差距。主要挑战在于高批次内相似度，即每个批次内的帧几乎是重复的。为缓解这一问题，我们提出 StreamMAE，它在保留 MAE 核心重建目标的同时，通过流感知的正则化和运动偏置的裁剪选择来调整输入流程。StreamMAE 优于流式基线方法，在相同视频数据上训练的 i.i.d. MAE 上取得了相当的表现，与基于 ImageNet 预训练的 MAE 相比也具有竞争力，并且当预训练视频流从 12 小时扩展到 95 小时时呈现出正向的规模扩展趋势。

查看 arXiv 页面 查看 PDF 项目页面 添加到收藏

在你的 agent 中获取此论文：

hf papers read 2609.40333

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文

在一个模型的 README.md 中引用 arxiv.org/abs/2609.40333，即可从此页面链接到它。

引用此论文的数据集 0

没有数据集关联此论文

在一个数据集的 README.md 中引用 arxiv.org/abs/2609.40333，即可从此页面链接到它。

引用此论文的 Spaces 0

没有 Space 关联此论文

在一个 Space 的 README.md 中引用 arxiv.org/abs/2609.40333，即可从此页面链接到它。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到一个合集中，即可从此页面链接到它。