用于流式 3D 重建的几何上下文 Transformer
摘要
介绍了 LingBot-Map,这是一种前馈式 3D 基础模型,采用几何上下文 Transformer 架构用于流式 3D 重建,能够在 20 FPS 的速率下实现稳定的实时性能。
查看缓存全文
缓存时间: 2026/05/08 08:43
论文页面 - 用于流式 3D 重建的几何上下文 Transformer
来源:https://huggingface.co/papers/2604.14141
摘要
LingBot-Map 是一个前馈式 3D 基础模型,利用带有专门注意力机制的几何上下文 Transformer 架构,从视频流中重建场景。这些注意力机制针对坐标定位、密集几何线索以及长程漂移校正进行了优化,在 20 FPS 下实现了稳定的实时性能。
流式 3D 重建旨在从视频流中恢复相机姿态和点云等 3D 信息,这需要几何精度、时间一致性和计算效率。受同时定位与建图(SLAM)原理的启发,我们提出了 LingBot-Map,这是一个用于从流式数据重建场景的前馈式 3D 基础模型,构建于几何上下文 Transformer(GCT)架构之上。LingBot-Map 的一个关键特性在于其精心设计的注意力机制,该机制集成了锚点上下文、姿态参考窗口和轨迹记忆,分别用于解决坐标定位、密集几何线索和长程漂移校正问题。这种设计在保持丰富几何上下文的同时,使流式状态保持紧凑,从而在超过 10,000 帧的长序列上,以 518 x 378 的分辨率输入实现了约 20 FPS 的稳定高效推理。在各种基准上的广泛评估表明,与现有的流式和基于迭代优化的方法相比,我们的方法取得了卓越的性能。
查看 arXiv 页面 (https://arxiv.org/abs/2604.14141)查看 PDF (https://arxiv.org/pdf/2604.14141)项目页面 (https://technology.robbyant.com/lingbot-map)GitHub 5.91k (https://github.com/robbyant/lingbot-map)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2604.14141)
在您的 Agent 中获取此论文:
hf papers read 2604.14141
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 3
robbyant/lingbot-map 更新于 12 天前 • 195 (https://huggingface.co/robbyant/lingbot-map)
agramoi/lingbot-map (https://huggingface.co/agramoi/lingbot-map)
maujim/lingbot-map-long-only 更新于 4 天前 (https://huggingface.co/maujim/lingbot-map-long-only)
引用此论文的数据集 0
没有链接此论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2604.14141 即可从该页面建立链接。
引用此论文的空间 5
包含此论文的收藏集 1
相似文章
robbyant/lingbot-map
LingBot-Map 是一个前馈式 3D 基础模型,用于流式 3D 重建,采用几何上下文转换器架构,在超过 10,000 帧的长序列上实现最先进的性能,并具有高效的 ~20 FPS 推理速度。
@IlirAliu_: 忘掉激光雷达吧。仅需一个摄像头。实时运行且开源:一个流式3D模型,实时重建场景…
LingBot-Map 是一个开源、实时流式3D重建模型,使用单个摄像头,通过前馈几何上下文转换器以约20 FPS运行,性能优于流式和离线方法。
Lite3R:一种高效的模型无关前馈3D重建框架
Lite3R 是一个模型无关框架,通过稀疏线性注意力和 FP8 感知量化,提升了基于 Transformer 的 3D 重建效率。在保持 VGGT 和 DA3-Large 等主干网络几何精度的同时,它将延迟和内存占用降低了高达 2.4 倍。
Stream3D-VLM:基于增量几何先验的在线3D空间理解
Stream3D-VLM 是一款在线3D视觉-语言模型,通过增量整合几何先验并使用几何自适应体素压缩,能够从流式视频中实现实时空间理解,在3D空间理解任务上优于现有模型。
从视频中学习几何表征以赋予多模态大语言模型空间智能
GeoVR 通过利用多个几何目标从3D基础模型中蒸馏几何知识,重构多模态大语言模型的语义潜空间,从而增强其3D感知能力。