论文页面 - FreeFlow：用于光流估计的无偏层次Transformer

来源：https://huggingface.co/papers/2609.11486

摘要

FreeFlow 是一种用于光流估计的层次Transformer，它消除了任务特定的归纳偏置，利用窗口注意力、移位窗口注意力和全局注意力机制达到了最先进（SOTA）的精度水平。

光流（https://huggingface.co/papers?q=Optical%20flow）方法通常依赖任务特定的归纳偏置，例如相关体（https://huggingface.co/papers?q=correlation%20volumes）、特征翘曲（https://huggingface.co/papers?q=feature%20warping）和迭代优化（https://huggingface.co/papers?q=iterative%20refinement）等，以达到高精度。尽管这些偏置很有效，但它们将模型限制在预定义的启发式规则中，这可能会限制模型的表达能力，并导致更复杂的流程和额外的计算成本。我们提出了 FreeFlow，这是一个层次Transformer，不包含任何光流特定组件，而是采用单一的前馈编码器-解码器架构。FreeFlow 结合了三种注意力变体：用于局部处理的窗口注意力，用于跨窗口信息交换的移位窗口注意力，以及在降低分辨率下运行的全局注意力。由此产生的架构可随模型容量自然扩展，使得从较小变体到较大变体都能获得一致的精度提升。尽管缺乏标准的归纳偏置，FreeFlow 在主要基准测试中仍取得了最先进的结果，包括 Sintel（Clean/Final 上的 EPE 为 0.68/1.48）、KITTI-2015（Fl-all 为 3.23）和 Spring（1px 为 3.192），同时在 1080p 推理时保持了高效的内存使用。

查看 arXiv 页面 查看 PDF 项目页面 GitHub2 添加到收藏夹

获取此论文到您的智能体中：

hf papers read 2609\.11486

没有最新的 CLI？运行：curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型（18个）

a-yakovenko/FreeFlow-S-pretrain 图像到图像任务 • 参数量 26.8M • 约 1 小时前更新

a-yakovenko/optical-flow-FreeFlow-S-TaTSKH 图像到图像任务 • 参数量 34.6M • 约 1 小时前更新

a-yakovenko/optical-flow-FreeFlow-S-TaTSKH-HQ 图像到图像任务 • 参数量 34.6M • 约 1 小时前更新

a-yakovenko/optical-flow-FreeFlow-S-sintel 图像到图像任务 • 参数量 34.6M • 约 1 小时前更新

浏览引用此论文的 18 个模型

引用此论文的数据集（0个）

没有关联此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2609.11486 即可将其链接到此页面。

引用此论文的 Spaces（0个）

没有关联此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2609.11486 即可将其链接到此页面。

包含此论文的收藏夹（3个）