论文页面 - HERMES++: 迈向统一的驾驶世界模型用于 3D 场景理解与生成

来源: https://huggingface.co/papers/2604.28196

摘要

HERMES++ 通过 BEV 表示、LLM 增强的查询、时间链接以及联合几何优化，将 3D 场景理解与未来几何预测相结合，以应用于自动驾驶领域。

驾驶世界模型 (https://huggingface.co/papers?q=world%20models) 通过模拟环境动力学，成为自动驾驶的关键技术。然而，现有的方法主要集中在未来场景生成上，往往忽视了全面的 3D 场景理解 (https://huggingface.co/papers?q=3D%20scene%20understanding)。反之，虽然大型语言模型 (https://huggingface.co/papers?q=Large%20Language%20Models)（LLMs）展现出卓越的推理能力，但它们缺乏预测未来几何演变的容量，导致语义解释与物理仿真之间产生显著差距。为了弥合这一差距，我们提出了 HERMES++，一个统一的驾驶世界模型，它在单一框架内集成了 3D 场景理解 (https://huggingface.co/papers?q=3D%20scene%20understanding) 和未来几何预测 (https://huggingface.co/papers?q=future%20geometry%20prediction)。我们的方法通过协同设计解决了这些任务的特定需求。首先，一种 BEV 表示 (https://huggingface.co/papers?q=BEV%20representation) 将多视图空间信息整合为与 LLM 兼容的结构。其次，我们引入了 LLM 增强的世界查询 (https://huggingface.co/papers?q=LLM-enhanced%20world%20queries) 以促进从理解分支到生成分支的知识迁移。第三，设计了当前至未来链接 (https://huggingface.co/papers?q=Current-to-Future%20Link) 以桥接时间间隔，使几何演变条件化于语义上下文之中。最后，为了强制执行结构完整性，我们采用了一种联合几何优化 (https://huggingface.co/papers?q=Joint%20Geometric%20Optimization) 策略，将显式几何约束 (https://huggingface.co/papers?q=geometric%20constraints) 与隐式潜在正则化 (https://huggingface.co/papers?q=latent%20regularization) 相结合，以使内部表示与感知几何的先验知识对齐。在多个基准测试上的广泛评估验证了我们方法的有效性。HERMES++ 取得了强劲的性能，在未来点云预测和 3D 场景理解 (https://huggingface.co/papers?q=3D%20scene%20understanding) 任务中均优于专用方法。该模型和代码将在 https://github.com/H-EmbodVis/HERMESV2 公开发布。

查看 arXiv 页面 (https://arxiv.org/abs/2604.28196)查看 PDF (https://arxiv.org/pdf/2604.28196)项目页面 (https://h-embodvis.github.io/HERMESV2/)GitHub 仓库 (https://github.com/H-EmbodVis/HERMESV2)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2604.28196)

在您的智能体中获取此论文：

hf papers read 2604.28196

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2604.28196 即可从此页面建立链接。

引用此论文的数据集 0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2604.28196 即可从此页面建立链接。

引用此论文的 Spaces 0

没有链接此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2604.28196 即可从此页面建立链接。

包含此论文的收藏集 4