HRoPE：基于单应变换的相对位置编码

Hugging Face Daily Papers 论文
positional-encoding multi-view-transformers novel-view-synthesis computer-vision homography geometry

摘要

HRoPE 提出了一种表面感知的位置编码，将每个 patch 建模为倾斜的 3D 平面，并将平面诱导的单应变换作为相对变换注入注意力机制，从而在无需真实几何信息的情况下提升跨视角对齐与新视角合成的效果。在 RealEstate10K、CO3Dv2 和 DL3DV 上的实验表明，该方法优于现有的几何位置编码。

几何相对位置编码已成为向多视角 Transformer 注入空间归纳偏置的主要机制。现有设计通常以相机级别的视锥体或射线步进深度来调节注意力，通过传感器几何关联跨视角 token。然而，这种以传感器为中心的表述仅描述了 token 从何处被观测，却忽略了 token 所描绘的场景区域中丰富的表面几何信息。在本文中，我们主张转向表面感知的位置编码，显式地将 patch token 落实在物理表面的几何结构上。我们提出 HRoPE，将每个 patch 的局部几何表示为一个倾斜的 3D 平面，沿用了经典多视角立体视觉中的倾斜支撑窗口假设。我们将 token 级别的、由平面诱导的单应变换作为相对变换注入注意力机制，从而赋予 Transformer 一种几何先验，用于校正透视畸变并在不同视角之间对齐 patch 特征。我们的编码方式无需真实几何信息：平面参数可以在仅由视角合成目标驱动的端到端训练中预测得到，也可以从基础模型中推导获得。在 RealEstate10K、CO3Dv2 和 DL3DV 上的大量实验表明，我们提出的最优 HRoPE 变体在新视角合成任务上 consistently 优于所评测的几何位置编码方法。大量消融实验和分析验证了所提编码的有效性。更多详情请参阅我们的项目主页：https://gaohchen.github.io/HRoPE
查看原文
查看缓存全文

缓存时间: 2026/10/21 14:21

论文页面 - HRoPE：Homography 相对位置编码

来源：https://huggingface.co/papers/2610.28284

摘要

HRoPE 通过倾斜 3D 平面和单应性（homography）引入表面感知位置编码，无需真实几何信息即可改善跨视角对齐与新视角合成。

几何相对位置编码（Geometric Relative Positional Encoding，https://huggingface.co/papers?q=Geometric%20Relative%20Positional%20Encoding）已成为向多视角 Transformer（multi-view transformers，https://huggingface.co/papers?q=multi-view-transformers）注入空间归纳偏置的主要机制。现有设计将注意力条件化于相机级视锥或光线步进深度，通过传感器几何关联跨视角 token（cross-view tokens，https://huggingface.co/papers?q=cross-view-tokens）。然而，这种以传感器为中心的表述仅描述了 token 被观测的来源位置，却忽略了 token 所描绘场景区域的丰富表面几何。本文主张转向表面感知位置编码，显式地将 patch token 建立在物理表面的几何之上。我们提出 HRoPE（https://huggingface.co/papers?q=HRoPE），它遵循经典多视角立体视觉中的倾斜支撑窗口假设，将每个 patch 的局部几何表示为倾斜 3D 平面（slanted 3D plane，https://huggingface.co/papers?q=slanted%203D%20plane）。我们将 token 级的平面诱导单应性（plane-induced homographies，https://huggingface.co/plane-induced-homographies）作为相对变换（relative transformations，https://huggingface.co/papers?q=relative%20transformations）注入注意力机制。这为 Transformer 提供了几何先验，可用于校正透视畸变并跨视角对齐 patch 特征。我们的编码无需真实几何：平面参数可以在仅使用视角合成目标的情况下端到端预测，也可从基础模型中推导。在 RealEstate10K、CO3Dv2 和 DL3DV 上的大量实验表明，我们的 HRoPE 最佳变体（https://huggingface.co/papers?q=HRoPE）在新视角合成（novel view synthesis，https://huggingface.co/papers?q=novel%20view%20synthesis）任务上始终优于所评测的几何位置编码。大量消融实验与分析验证了所提编码的有效性。请访问我们的项目页面：https://gaohchen.github.io/HRoPE（https://huggingface.co/papers?q=HRoPE）

查看 arXiv 页面（https://arxiv.org/abs/2610.28284）查看 PDF（https://arxiv.org/pdf/2610.28284）项目页面（https://gaohchen.github.io/HRoPE/）GitHub2（https://github.com/Inception3D/HRoPE）添加到合集（https://huggingface.co/login?next=%2Fpapers%2F2610.28284）

在你的 agent 中获取此论文：

hf papers read 2610.28284

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2610.28284，即可从此页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.28284，即可从此页面链接它。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.28284，即可从此页面链接它。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集（https://huggingface.co/new-collection），即可从此页面链接它。

相似文章

RIG-RoPE: Relation- and Instance-Gated Rotary Positional Encoding with Duration-Aware Temporal Coordinates

arXiv cs.CL

This preliminary technical report proposes RIG-RoPE, a relation- and instance-gated rotary positional encoding with duration-aware temporal coordinates, aiming to address spatial interference and improper temporal scaling in multimodal LLMs. It introduces a gating mechanism for height/width rotations and duration-aware temporal coordinates, but leaves large-scale empirical validation to future work.

高维动态旋转位置编码 [P]

Reddit r/MachineLearning

介绍了 HDD-RoPE，这是旋转位置编码的一种扩展，它使用高维块和数据相关的旋转速率，在 TinyStories 数据集上显示出比 xPos 更快的收敛速度。

RoVE：面向相对位置依赖值路径的旋转值嵌入注意力机制

arXiv cs.LG

本文提出RoVE，一种无需参数的旋转位置嵌入改进方法，通过同时旋转值与键使值路径具备位置敏感性，将RoPE注意力转化为注意力卷积。在GPT-2模型上的实验表明，该机制在少样本上下文学习、分布外困惑度及长上下文检索方面持续提升性能。