重新审视局部上下文在长时间序列流式三维重建中的应用

Papers with Code Trending 论文

摘要

ABot-Recon 通过使用固定的局部上下文,实现了从连续视频流中实时重建大规模环境的三维结构,达到了高效率和低内存使用。

从极长的视频中进行流式三维重建需要在有限的内存和计算下在线估计相机运动和场景几何。早期的流式模型使用有限上下文缓冲区或紧凑的循环状态实现因果、有界成本的推断,但随着序列增长,其估计往往会恶化。最近的方法通过将短期上下文与持久或多层长期记忆相结合来提高长时间序列稳定性。我们采取了不同的路径:我们保持学习到的时间状态严格局部化,并制定预测目标独立于序列长度。我们提出了ABot-Recon,一个简单的流式模型,仅缓存前11帧的KV特征。它在当前相机坐标系中预测点图以及相邻帧的相对位姿。这些预测在参考系变化下保持等变性,全局位姿和几何通过顺序组合恢复。为了减少累积漂移,一个轻量级的时间精炼器利用最近的视觉和运动上下文改进相对旋转,而一个组合感知的位姿损失监督多步位姿组合。在具有挑战性的长序列基准上的广泛评估证明了我们的局部上下文方法的优越长时间序列性能。在Oxford Spires上,ABot-Recon实现了ATE为4.35米和RPE-R为0.12度,相对于最佳先前结果,将两种误差都减少了约40%。
查看原文
查看缓存全文

缓存时间: 2026/09/01 12:41

论文页面 - 重新审视长时序流式三维重建中的局部上下文

来源:https://huggingface.co/papers/2608.27529

ABot-Recon 能够将单段连续视频实时转换为全局一致的三维重建。无论是持手机绕建筑行走、用行车记录仪穿行城市街道,还是操控无人机掠过校园,该系统仅依赖固定的12帧局部上下文,通过组合当前帧几何信息与相邻帧的相对位姿关系(无需依赖持续学习的长程记忆),即可完成长视频流的重建处理。在仅占用6.71 GB显存的情况下,该系统能够以24.45帧/秒的速度处理超过10,000帧的序列,实现大规模环境的高效实时三维重建。

预览图(https://cdn-uploads.huggingface.co/production/uploads/6433bc32a4c9c55871a42812/Ox12Ux8aOcghXL9_tCdFg.png)

相似文章

用于流式 3D 重建的几何上下文 Transformer

Papers with Code Trending

介绍了 LingBot-Map,这是一种前馈式 3D 基础模型,采用几何上下文 Transformer 架构用于流式 3D 重建,能够在 20 FPS 的速率下实现稳定的实时性能。

robbyant/lingbot-map

Hugging Face Models Trending

LingBot-Map 是一个前馈式 3D 基础模型,用于流式 3D 重建,采用几何上下文转换器架构,在超过 10,000 帧的长序列上实现最先进的性能,并具有高效的 ~20 FPS 推理速度。