OmniPath:用于审计轮椅无障碍性的多模态代理框架
摘要
OmniPath是一个多模态代理框架,结合了OpenStreetMap网络拓扑与航空LiDAR数据,通过高分辨率分析坡度、表面不连续等物理障碍来审计轮椅无障碍性,并经过实地调查验证。
arXiv:2606.24129v1 公告类型:新
摘要:对于轮椅使用者而言,地图上的一条标准蓝线常常是一个空洞的承诺。像OpenStreetMap(OSM)这样的平台虽然成功地记录了路径的位置,但往往无法传达在其上行走的实际物理感受。这种信息障碍对轮椅使用者来说是个问题。为了解决这个问题,我们提出了OmniPath系统,它从被动地图绘制转变为主动环境审计。我们的框架将OSM的网络拓扑与高密度航空LiDAR(USGS 3DEP)的亚米级精度相结合,创建了行人环境的高保真3D模型。我们的代理并非简单地为用户规划路线,而是虚拟穿越网络,以0.5米为增量分析表面。它严格量化物理摩擦点,特别是运行坡度、横向坡度和垂直不连续性,对照ADA合规标准,计算加权严重性分数,将危险等级从“轻微”到“严重”进行分类。为了确保实际可靠性,我们在国家广场通过分层随机抽样,针对200个实地地面真实调查对系统进行了验证。该框架在高严重性危害方面表现出强大的诊断可靠性,在“严重”和“危急”类别上分别达到了0.60和0.58的F1分数。通过自动化这种微观尺度检查,OmniPath识别了标准地图遗漏的“隐形”障碍,有效地将静态数据集转化为无障碍数据源,在用户离家之前就预见到无障碍挑战。
查看缓存全文
缓存时间: 2026/06/24 07:45
# OmniPath:用于审计轮椅可达性的多模态智能框架
来源:https://arxiv.org/html/2606.24129
###### 摘要
对于轮椅使用者来说,地图上一条普通的蓝线往往是一个空头承诺。虽然 OpenStreetMap (OSM) 等平台能够成功捕捉路径在哪里,但它们常常无法传达在其上行进的物理感受。这种信息屏障对轮椅使用者来说是个严重问题。为了解决这个问题,我们提出了 OmniPath,一个从被动测绘转向主动环境审计的系统。我们的框架将 OSM 的网络拓扑结构与高密度空中 LiDAR(USGS 3DEP)的亚米级精度相融合,创建了一个高保真的行人环境三维模型。我们的代理不是在用户需要时简单地规划路线,而是虚拟地遍历整个网络,以 0.5 米的增量分析路面。它严格量化特定的物理摩擦点,特别是运行坡度、横向坡度和垂直不连续性,对照 ADA 合规标准,计算加权严重度分数,将危险从“轻度”到“严重”进行分类。为了确保现实世界中的可靠性,我们使用分层随机抽样方法,在国家广场区域对 200 个物理地面实测数据进行了验证。该框架在严重危险分类上表现出强大的诊断可靠性,重度类别 F1 得分为 0.60,严重类别为 0.58。通过自动化这种微观尺度的检查,OmniPath 可以识别标准地图遗漏的“无形”障碍,从而将静态数据集转化为可访问性数据源,在用户离家之前就预见可达性挑战。
## I. 引言
参见标题(a) 不可达的坡度(红线)
参见标题(b) 人行道上的障碍物
参见标题(c) 坑洼
图 1:OmniPath 检测到的可达性障碍:(a) 越战纪念碑处过大的运行坡度(11.76%,6.7°);(b) 西南独立大道沿线过大的运行坡度(20.81%,11.76°)和横向坡度(12.99%,7.4°);(c) 美国华盛顿特区西波托马克公园 24 英尺(733 厘米)的路面不连续处。(来源:在线)为机动车辆和健全行人生成最优导航路线的问题已被广泛解决。现代路由引擎优先考虑最短距离或最快时间,假设路面相对均匀。然而,这种“效率优先”的范式常常辜负了全球 6500 万轮椅使用者 [41 (https://arxiv.org/html/2606.24129#bib.bib168)],对他们来说,路径的物理质量远比长度重要得多。正如我们的实地研究(见图 1)所记录的,在标准数字地图上看似有效的路径,在物理世界中往往因“微观障碍”如破损路面、陡坡(>6°)或深垂直路面缝隙而完全无法通行。
虽然《美国残疾人法案》(ADA) [34 (https://arxiv.org/html/2606.24129#bib.bib19)] 等法规要求公共路径保持稳定、坚固且防滑,但城市基础设施的实际情况与这些法律规定相去甚远。传统的路由系统对这些差异的反应大多是滞后的。它们严重依赖用户的事后报告(例如 Wheelmap [32 (https://arxiv.org/html/2606.24129#bib.bib31)]、众包)或通用的传感器数据,这些数据无法捕捉到精细的路面保真度。现有的工作 [43 (https://arxiv.org/html/2606.24129#bib.bib28), 2 (https://arxiv.org/html/2606.24129#bib.bib61)] 在使用众包数据警告用户障碍物方面取得了显著进展。然而,这些人在回路模型存在固有的数据稀疏性问题;如果之前没有用户实际遍历并报告某个特定障碍,系统就无法感知其危险,迫使下一个用户亲自发现它。
当前导航系统的一个关键局限性在于它们根本上依赖于市政矢量数据集,这些数据集优先考虑网络连通性而非物理可达性。一个突出的失败例子是 DC GIS 官方“人行道”数据集 [8 (https://arxiv.org/html/2606.24129#bib.bib22)]。为了维护普通行人的拓扑连续性,该数据集明确将“少于 5 级台阶的任何楼梯特征”编码为标准人行道。对于健全行人来说,三级台阶是行走路径上一个可以忽略的变化。然而,对于手动轮椅使用者来说,这却是一堵不可逾越的墙。
这种语义泛化制造了危险的“可达性陷阱”——在数字地图上看起来完全有效的路线,实际物理上却无法通行。仅依赖单模态矢量数据的路由引擎会自信地将轮椅使用者引导到一条以四级台阶结束的路径上,迫使他们进行艰难而危险的折返。这揭示了可达性导航的一个基本事实:二维 GIS 图层提供了路径的**意图**,但只有三维地形图层才能验证其表面的**现实**。
为了弥合这一差距并消除这些可达性陷阱,我们必须从被动测绘转向主动的智能系统。我们引入了 **OmniPath**,一个将导航问题从简单的路径规划转变为复杂环境谈判的智能 AI 框架。OmniPath 不是等待用户遇到障碍,而是在用户请求路线之前主动审计环境,预测可达性摩擦。
OmniPath 扩展了我们之前的 MyPath 系统 [9 (https://arxiv.org/html/2606.24129#bib.bib11), 42 (https://arxiv.org/html/2606.24129#bib.bib10), 19 (https://arxiv.org/html/2606.24129#bib.bib2), 11 (https://arxiv.org/html/2606.24129#bib.bib1)],将 OpenStreetMap (OSM) [21 (https://arxiv.org/html/2606.24129#bib.bib38)] 网络拓扑与高分辨率空中 LiDAR 点云相融合。我们部署了一个虚拟审计代理,遍历图结构,以 0.5 米滑动窗口分析路面保真度。这使得系统能够检测到特定的物理违规行为,例如超过 2% 的横向坡度或大于 20 毫米的垂直不连续性,这些在标准卫星图像和二维地图上完全不可见。
本文的具体贡献如下:
- **主动智能审计框架:** 我们提出了一种从被动数据收集到自主环境审计的范式转变。我们的系统不依赖人工用户报告,而是主动扫描高保真 LiDAR 数据集,为每个网络段分配一个可达性阻抗分数,在无需物理遍历的情况下预测微观障碍。
- **OSM 与 LiDAR 的多模态融合:** 我们引入了一种稳健的技术方法,将二维矢量拓扑与三维空中地形相融合。这种融合能够以先前仅靠基于 GPS 的智能手机传感无法达到的粒度(0.5 米间隔)提取微观尺度的道路特征。
- **符合 ADA 的异常检测:** 我们提出了一种算法方法,用于严格验证路径是否符合具体的 ADA 规定。通过自动识别和分类不合规的几何特征(例如,导致漂移的横向坡度或卡陷危险),OmniPath 为可达路线生成提供了可验证、客观的安全度量。
## II. 相关工作
由于路缘不可达、路面不平、人行道段缺失以及行人基础设施映射不足,轮椅使用者在城市环境中导航仍然充满挑战。虽然 OpenStreetMap (OSM) 等平台提供了有价值的地理数据,但可达性相关的属性常常缺失。美国地质调查局 (USGS) [35 (https://arxiv.org/html/2606.24129#bib.bib146), 36 (https://arxiv.org/html/2606.24129#bib.bib147)] 收集的高分辨率地理空间数据集(如 LiDAR)在识别和更新可达性相关基础设施方面仍未得到充分利用。
Ugalde 等人开发了一个基于 GIS 的坡道可达性报告工具,以改善残疾人在城市中的出行 [37 (https://arxiv.org/html/2606.24129#bib.bib125), 30 (https://arxiv.org/html/2606.24129#bib.bib128), 10 (https://arxiv.org/html/2606.24129#bib.bib130)]。Das 等人提出了 eNav,一个多层级路由框架,整合了 OSM 数据、机载激光扫描、基于传感器的路面评估、众包反馈和实时交通信息 [7 (https://arxiv.org/html/2606.24129#bib.bib127), 24 (https://arxiv.org/html/2606.24129#bib.bib131), 28 (https://arxiv.org/html/2606.24129#bib.bib136)]。Misra 等人开发了 AdaGen,一个用于在手动轮椅和电动轮椅之间迁移路面分类知识的深度学习框架 [16 (https://arxiv.org/html/2606.24129#bib.bib124), 25 (https://arxiv.org/html/2606.24129#bib.bib129)],实现了最短和最节能的路线选择,并能适应电动轮椅 (EPW) 的约束,如电池使用和坡度。
多项研究将计算机视觉应用于卫星和航空图像,以检测行人基础设施。Verma 等人 [38 (https://arxiv.org/html/2606.24129#bib.bib148)] 使用 YOLOv5 进行人行横道检测,在华盛顿特区达到 71% 的准确率,在洛杉矶达到 89%。Antwi 等人 [1 (https://arxiv.org/html/2606.24129#bib.bib149)] 开发了一个基于 GIS 的 YOLOv2 框架,在佛罗里达州识别出超过 2000 处人行横道变化。Hosseini 等人 [12 (https://arxiv.org/html/2606.24129#bib.bib150)] 创建了 TILE2NET,用于从航空图像生成行人网络数据集,平均 IoU 达到 84.51%。Ning 等人 [20 (https://arxiv.org/html/2606.24129#bib.bib152)] 结合航空和街景图像,连接了 20% 以上断开的人行道段,而 Moran 等人 [17 (https://arxiv.org/html/2606.24129#bib.bib153)] 评估了旧金山各社区人行横道分布的不平等现象。
基于 LiDAR 的道路特征检测已从早期的几何和高程规则 [5 (https://arxiv.org/html/2606.24129#bib.bib158), 40 (https://arxiv.org/html/2606.24129#bib.bib159)] 发展到融合坡度、高度和强度特征以提高鲁棒性的方法 [13 (https://arxiv.org/html/2606.24129#bib.bib157)]。最近的研究整合了机器学习,用于从点云进行分割、边界提取和中心线拟合 [33 (https://arxiv.org/html/2606.24129#bib.bib160), 39 (https://arxiv.org/html/2606.24129#bib.bib156)],而用于基于图像道路提取的深度学习正在被改编应用于 LiDAR 数据 [4 (https://arxiv.org/html/2606.24129#bib.bib154), 23 (https://arxiv.org/html/2606.24129#bib.bib155)]。在具有变化点密度和几何相似表面的复杂城市场景中,挑战依然存在。
早期的基于边缘的框架展示了在车载自组织网络 (VANET) 中实现实时道路异常检测的可行性 [3 (https://arxiv.org/html/2606.24129#bib.bib161)]。随后的基于视觉的系统推进了基于人工智能的缺陷检测和道路安全评估 [22 (https://arxiv.org/html/2606.24129#bib.bib162), 14 (https://arxiv.org/html/2606.24129#bib.bib164), 15 (https://arxiv.org/html/2606.24129#bib.bib166)]。多智能体范式已被应用于车道检测 [27 (https://arxiv.org/html/2606.24129#bib.bib165)] 和基于无人机 (UAV) 的路面监测及坑洼识别 [29 (https://arxiv.org/html/2606.24129#bib.bib167)],而最近的多智能体视觉推理框架已证明在复杂的、分布外道路环境中具有更高的鲁棒性 [31 (https://arxiv.org/html/2606.24129#bib.bib163)]。这些工作表明了从单一模型向整合分布式感知、协作推理和自适应决策的智能 AI 系统的转变。
先前关于基于 LiDAR 的道路特征提取和基于智能 AI 的缺陷检测的研究,与以可达性为重点的环境审计是脱节的。现有的 LiDAR 研究强调几何测绘精度,而智能 AI 方法主要针对车辆安全而非行人移动。没有先前的工作将高分辨率多模态 LiDAR 数据与智能 AI 相结合,以主动检测与 ADA 合规和轮椅导航相关的微观尺度障碍和过大的运行坡度。这凸显了在行人网络中缺乏具有可达性意识的、由智能体驱动的审计系统。
## III. 定义、度量标准与数据集
OmniPath 系统由多个集成组件组成,它们协同工作以识别轮椅使用者可达的路径。它建立在一个稳健的后端架构之上,该架构将道路网络分割成更小的单元,并系统地评估每个单元的可达性。虽然图 2 (https://arxiv.org/html/2606.24129#S4.F2) 展示了完整的系统架构,但 OmniPath 整合了来自多个异构源的数据,并在路段级别执行可达性评估,以确定路线适用性。
### III-A 术语定义
为了评估行人网络,系统分析了三个直接影响轮椅移动性的主要几何特征。
#### III-A1 运行坡度(纵向坡度)
**运行坡度**定义为平行于行进方向的路径坡度,计算公式为沿运动矢量的垂直高程变化 (\(dz\)) 除以水平距离 (\(dx\))。该度量代表手动轮椅使用者上坡时所需的主要用力。根据 ADA 标准,任何坡度超过 5% (1:20) 的路径被归类为“坡道”,而任何坡道的绝对最大允许坡度为 8.33% (1:12)。因此,我们的代理将任何运行坡度 >8.33% 的路段标记为潜在障碍,而将那些超过 10%(在我们的国家广场数据集中经常观察到)的路段标记为关键能量障碍,可能使手动使用者无法克服。
#### III-A2 横向坡度(横向梯度)
**横向坡度**定义为垂直于行进方向,横跨行人路径宽度测量的坡度。ADA 规定最大允许横向坡度为 2.0% (1:48)。过大的横向坡度可以说比运行坡度更有害,因为它会使轮椅持续向路缘或较低边缘漂移。这迫使用户花费不对称的力气,一手刹车一手推动以保持直线轨迹。我们的 LiDAR 分析特别针对这些“无形的”漂移,即人行道一侧出现下陷,而这在二维矢量地图上常常未被检测到。
#### III-A3 不连续性(垂直表面偏差)
**不连续性**指不是坡度的突然的垂直表面高程变化,例如坑洼、树根隆起或拱起的路面板块。在我们的模型中,这被定义为在单个 0.5 米路段内,相对于拟合平面的最大垂直方差 (\(\Delta z_{max}\))。ADA 合规指南规定,介于 6.4 毫米(1/4 英寸)和 13 毫米(1/2 英寸)之间的水平变化必须做成斜面,而任何大于 13 毫米的垂直变化严格不合规。基于这些阈值,我们的系统将任何超过 20 毫米(约 0.75 英寸)的不连续性标记为关键的“卡陷危险”,这代表一个故障点,轮椅的脚轮可能被卡住,导致潜在的翻倒风险。
#### III-A4 审计路径特征的严重度分类
为了将原始几何度量转化为可操作的导航情报,我们的智能框架超越了简单的二元可达性判定。相似文章
Omni-Decision: 全模态智能体的证据账本规划
Omni-Decision引入了一种针对全模态智能体的证据账本规划方法,以处理噪声多模态观测,在OmniGAIA和WorldSense基准测试中实现了最先进的准确性。
原生主动感知作为全模态理解的推理方式
介绍OmniAgent,一个全模态代理,使用迭代的观察-思考-行动循环与主动感知,实现卓越的长视频理解,在基准测试上优于更大的模型如Qwen2.5-VL-72B。
OmniEcho: 面向具身智能体的空间音频理解
OmniEcho引入了一种空间感知的全模态模型和一个新的基准,用于具身智能体的空间音频-视觉感知和导航,实现了最先进的性能。
Qwen3.8-Omni: 迈向原生全模态智能体
Qwen3.8-Omni-Flash是一款原生多模态智能体模型,旨在提升真实世界生产力。它通过MoE架构和扩展上下文窗口增强了多模态理解与推理能力,并发布了多模态应用的开源框架。
OmniSeek:面向多轮视听推理的原生工具调用框架
OmniSeek 是一个智能体框架,它将全模态大语言模型(Omni-LLM)转变为具备原生工具调用能力的主动多轮推理智能体,能够在长上下文中动态检索音频/视觉证据。该框架使用合成的 OmniTraj-170K 轨迹语料库、监督式冷启动以及两阶段可验证奖励强化学习,并引入视听必要性(Audio-Visual Necessity)目标函数,以提升跨模态推理能力。