论文页面 - 你不需要强假设：通过时间差进行视觉表征学习

来源：https://huggingface.co/papers/2606.15956

摘要

视觉时间差（TDV）提出了一种新颖的视频数据自监督学习方法，通过利用过去帧与未来帧之间的因果关系，消除了传统的归纳偏置。

人工智能的进步很大程度上是由假设更少的方法推动的。随着计算量和数据量的增加，具有较弱的归纳偏置（https://huggingface.co/papers?q=inductive%20biases）的方法通常优于那些具有更强假设的方法。这在视觉表征学习（https://huggingface.co/papers?q=Visual%20Representation%20Learning）领域尤为典型：方法从监督学习主导，到弱监督学习，再到如今无需人工标注的自监督学习（https://huggingface.co/papers?q=Self-Supervised%20Learning）的广泛成功。然而，即使是现代的自监督学习（https://huggingface.co/papers?q=Self-Supervised%20Learning）方法，仍然依赖于如扩充、掩码或裁剪等强归纳偏置（https://huggingface.co/papers?q=inductive%20biases）。如果这一趋势成立，那么这些剩余的偏置在规模扩大时也将成为瓶颈——我们的实验证实了这一点：随着数据增长，归纳偏置（https://huggingface.co/papers?q=inductive%20biases）的最佳强度会降低。这促使我们寻找依赖更少假设的方法。为此，我们提出了视觉时间差（https://huggingface.co/papers?q=Temporal%20Difference）方法（TDV），这是一种从视频中进行自监督学习（https://huggingface.co/papers?q=self-supervised%20learning）的新范式，它避免了现有的归纳偏置（https://huggingface.co/papers?q=inductive%20biases），而是依赖于一个因果假设（https://huggingface.co/papers?q=causal%20assumption）：过去导致未来。TDV通过联合训练一个图像编码器（https://huggingface.co/papers?q=image%20encoder）和一个运动编码器（https://huggingface.co/papers?q=motion%20encoder），使得当前帧的表示加上编码后的运动等于下一帧的表示。尽管没有利用任何强归纳偏置（https://huggingface.co/papers?q=inductive%20biases），TDV在密集空间任务（https://huggingface.co/papers?q=dense%20spatial%20tasks）上达到了最先进的水平，为无需强假设的表征学习奠定了基础。

查看 arXiv 页面（https://arxiv.org/abs/2606.15956）查看 PDF（https://arxiv.org/pdf/2606.15956）项目页面（https://temporal-difference-vision.github.io/）GitHub3（https://github.com/ninaddaithankar/tdv）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.15956）

在您的代理中获取此论文：

hf papers read 2606\.15956

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2606.15956 以从本页链接它。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.15956 以从本页链接它。

引用此论文的 Space0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2606.15956 以从本页链接它。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到一个收藏集（https://huggingface.co/new-collection）以从本页链接它。