Urban-ImageNet: 大规模多模态数据集与城市空间感知评估框架
摘要
Urban-ImageNet是一个大规模多模态数据集和评估基准,用于从社交媒体图像进行城市空间感知,支持场景分类、跨模态检索和实例分割任务,覆盖中国24个城市的61个城市地点。
查看缓存全文
缓存时间: 2026/05/13 20:14
论文页面 - Urban-ImageNet:面向城市空间感知的大规模多模态数据集与评估框架
来源:https://huggingface.co/papers/2605.09936
摘要
Urban-ImageNet 提出了一个大规模多模态数据集和评估基准,用于从社交媒体图像中感知城市空间,该数据集基于层次化分类法组织,支持场景分类、跨模态检索和实例分割任务。
我们提出了 Urban-ImageNet,这是一个从用户生成的社交媒体图像中感知城市空间的大规模多模态数据集和评估基准。该语料库包含超过200万张来自微博的公开社交媒体图像及配对的文本帖子,覆盖2019-2025年间中国24个城市的61个城市地点,并设有1K、10K和100K规模的受控基准子集,以及用于大规模训练和评估的完整200万语料。Urban-ImageNet 依据 HUSIC(一种层次化城市空间图像分类框架)组织,该框架定义了一个基于城市理论的10类分类法。该分类法旨在区分激活与非激活公共空间、外部与内部城市环境、住宿空间、消费内容、人像以及非空间性的社交媒体内容。Urban-ImageNet 并非将城市图像视为普通场景数据,而是评估机器感知模型能否捕捉到城市研究中核心的空间、社会及功能差异。该基准在统一标准库内支持三个任务:(T1)城市场景语义分类、(T2)跨模态图文检索以及(T3)实例分割。我们的实验评估了代表性的视觉、视觉-语言和分割模型,结果显示在监督场景分类上表现强劲,但在跨模态检索和实例级城市物体分割上面临更大挑战。一项多尺度研究进一步考察了当平衡训练数据从1K、10K增加到100K图像时模型性能的变化。Urban-ImageNet 提供了一个统一、基于理论、多城市的基准,用于评估AI系统如何在多模态、多尺度和多种任务形式下感知和解释当代城市空间。数据集和基准可在以下地址获取:huggingface.co/datasets/Yiwei-Ou/Urban-ImageNet 和 github.com/yiasun/dataset-2。
查看arXiv页面 (https://arxiv.org/abs/2605.09936)查看PDF (https://arxiv.org/pdf/2605.09936)项目页面 (https://huggingface.co/datasets/Yiwei-Ou/Urban-ImageNet)GitHub1 (https://github.com/yiasun/dataset-2)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.09936)
在你的代理中获取此论文:
hf papers read 2605.09936
没有最新的CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型0
无模型链接到此论文
请在模型 README.md 中引用 arxiv.org/abs/2605.09936 以从此页面链接。
引用此论文的数据集1
Yiwei-Ou/Urban-ImageNet 查看器• 更新于约3小时前 • 3.67M • 204 (https://huggingface.co/datasets/Yiwei-Ou/Urban-ImageNet)
引用此论文的Spaces0
无Space链接到此论文
请在Space README.md中引用 arxiv.org/abs/2605.09936 以从此页面链接。
包含此论文的收藏集0
无收藏集包含此论文
请将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
Urbex:面向城市级 3D 场景的智能体空间定位
Urbex 提出一种智能体视觉-语言框架,将城市级 3D 场景定位重构为主动空间搜索,利用强化学习优化工具使用策略,在 CityRefer 上取得最佳 Hit@1 和 IoU,并显著优于排名式基线。
WildCity: 一个真实世界城市规模的渲染、仿真与空间智能测试平台
WildCity 引入了由自动驾驶车队收集的大规模多模态数据集,用于城市规模的导航与空间表征。该数据集包含 18 条长轨迹,并建立了重建与闭环仿真的基线,以推动能够感知和推理城市规模环境的 AI 系统发展。
GEOID-Flood:用于洪水分割的大规模多模态基准数据集
介绍了GEOID-Flood,这是一个用于洪水分割的大规模多模态基准数据集,包含来自65个国家219个事件的超过14,000个瓦片,在单图像、多时相和多模态协议下,将基础模型与传统编码器进行了评估。
UrbanGround:从局部感知到空间能动性在真实城市中的研究
UrbanGround评估了多模态语言模型代理是否能在逼真的3D城市复制品中保持可靠的导航和空间推理能力,发现局部感知技能无法组合成扩展的目标导向行为。
对应用地球观测中组合图像检索的基准测试
本文提出了一个地球观测中组合图像检索的统一基准,评估了视觉-语言骨干网络,并引入了一个以变化为中心的灾害监测数据集(xView2-CIR),强调了与基于属性检索相比的独特挑战。