论文页面 - RaysUp：基于几何感知光线表示的超轻量通用特征上采样

来源：https://huggingface.co/papers/2606.22749

摘要

RaysUp 是一个轻量级、任务无关的特征上采样框架，通过几何感知的光线域技术重构高分辨率特征，同时提升了效率与精度。

预训练视觉基础模型（Vision Foundation Models, VFMs）因其强大的语义表示能力和泛化能力，已成为现代计算机视觉的核心。然而，它们输出的分块化或池化特征分辨率天然较低，限制了在需要细粒度像素级推理的任务中的有效性。现有特征上采样方法要么降低语义保真度，要么依赖针对特定 VFM 的重新训练和庞大架构，损害了效率与可扩展性。为应对这些挑战，我们提出 RaysUp，一个超轻量、任务无关且与 VFM 无关的特征上采样框架，能够在任意分辨率下重构高分辨率特征图。与传统的 2D 插值或基于注意力的方案不同，RaysUp 将特征重构提升至几何感知的光线域。具体来说，我们引入了：用于方向感知引导编码的空间解耦引导编码器（Spatially Decoupled Guidance Encoder）、用于分辨率灵活重构的任意分辨率交叉注意力（Any-Resolution Cross-Attention）机制，以及一种新颖的光线位置编码（Ray Positional Encoding, RayPE），该编码通过 6D Plücker 光线坐标注入隐式 3D 几何先验。最后，几何感知邻域注意力（Geometry-Aware Neighborhood Attention）模块进一步确保内容自适应的双边聚合，同时保持几何一致性。在多种密集预测任务上的广泛实验表明，RaysUp 在使用仅 AnyUp 16% 参数并实现约 7 倍更快推理速度的情况下，取得了最先进的性能。这些结果凸显了显著改善的精度-效率权衡，并使 RaysUp 成为通用特征上采样的实用且可扩展的解决方案。代码可在 https://github.com/MAP-RaysUp/RaysUp 获得。

查看 arXiv 页面 (https://arxiv.org/abs/2606.22749)查看 PDF (https://arxiv.org/pdf/2606.22749)项目页面 (https://lif314.github.io/projects/raysup/)GitHub10 (https://github.com/MAP-RaysUp/RaysUp)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2606.22749)

在你的 agent 中获取此论文：

hf papers read 2606.22749

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2606.22749 以从该页面链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.22749 以从该页面链接。

引用此论文的 Spaces0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2606.22749 以从该页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

添加此论文到一个收藏集 (https://huggingface.co/new-collection) 以从该页面链接。