Click2Poly：用于建筑物和墙体矢量制图的视觉语言模型

# 用于建筑和墙体矢量制图的视觉语言模型
来源：https://arxiv.org/html/2608.11424 \*同等贡献

## CLICK2POLY：面向建筑和墙体矢量制图的视觉语言模型
本项目是 TGI/AWS 地理空间生成式 AI 挑战赛的一部分，并受益于其提供的 AWS 积分。作者感谢 TGI 和 AWS，特别感谢来自 TGI 的 Nadine Alameh（现任 LunateAI CEO）、来自 AWS 的 Phil Cooper 和 Dean McCormick。Nicolas Girardhttps://orcid.org/0009-0006-5630-972X, Jawher Ben Abdallah\*, Arno Gobbin\*, Liuyun Duanhttps://orcid.org/0009-0001-5632-9740, Sacha LepretreAffiliation:LuxCarta \{ngirard, jbenabdallah, agobbin, lyduan\}@luxcarta\.com sacha\.lepretre@gmail\.com

###### 摘要
建筑和墙体的精确矢量制图对地理空间应用至关重要，但至今仍是一个劳动密集型过程。虽然最近的深度学习方法改进了自动提取，但为了满足制图标准，始终需要人工进行质量控制并修复提取中的复杂案例。我们提出了 Click2Poly，一个用于加速这一人工步骤的“人在回路”AI 助手。通过扩展 Florence-2[14 (https://arxiv.org/html/2608.11424#bib.bib12)]视觉语言模型，Click2Poly 响应用户点击，直接编辑建筑或墙体矢量图层。Click2Poly 以 QGIS[12 (https://arxiv.org/html/2608.11424#bib.bib15)]插件的形式实现，在真实生产环境中加速了建筑和墙体矢量图层的人工编辑。

###### 关键词：AI 助手，VLM，矢量，制图，建筑，墙体

## I 引言
精确的建筑和墙体矢量图面临若干挑战，例如几何的高空间精度、正确的拓扑关系（例如，建筑之间狭窄的通道不能因两个多边形建筑互相吸附而丢失），以及形状的简洁/规则化。利用 AI 从卫星影像中自动提取矢量图的方法始于基于分割的方法：首先用神经网络预测物体的栅格掩膜，然后对分割掩膜进行矢量化。这些方法存在“类斑点”预测掩膜的问题，难以矢量化成精确的多边形轮廓。为了加强规则性和更好的角点定义，多边形框架场学习（PFFL）方法[7 (https://arxiv.org/html/2608.11424#bib.bib2)]在建筑分割之外额外学习一个输出：指示轮廓方向的框架场。该框架场可用于规范化预测的建筑分割掩膜，并进一步用于矢量化步骤。该工作的后续演进提高了精度并将其扩展到墙体[6 (https://arxiv.org/html/2608.11424#bib.bib1)]。类似地，HiSup[15 (https://arxiv.org/html/2608.11424#bib.bib3)]利用跨掩膜、线段和顶点的分层监督，提高了掩膜的可逆性，使学习到的特征能够被多边形化为精确的建筑足迹。参见图1说明：
图1：在工作区中，用户可以选择要编辑的图层（建筑或墙体）；在、、中选择一个工具；然后点击（红色十字准线）以添加/编辑要素。影像为美国华盛顿特区的 30 cm/px Pléiades Neo 影像。

另一类工作提出直接预测矢量图的几何深度学习架构。Polygon-RNN[4 (https://arxiv.org/html/2608.11424#bib.bib4)]和 Polygon-RNN++[1 (https://arxiv.org/html/2608.11424#bib.bib5)]引入了 CNN-RNN 模型，在用户定义的边界框内顺序预测多边形顶点。该方法允许用户交互：如果用户选择移动某个顶点，预测序列会相应更新。Re:PolyWorld[17 (https://arxiv.org/html/2608.11424#bib.bib6)]提出了一种结合最优传输的图神经网络，以强制形成闭环，并采用多顶点实例化，允许多个多边形复用同一顶点。近期基于 Transformer 的方法，如 Pix2Poly[2 (https://arxiv.org/html/2608.11424#bib.bib9)]和 RoIPoly[16 (https://arxiv.org/html/2608.11424#bib.bib7)]，进一步改进了这一点：前者将矢量化视为 token 序列生成，后者则视为基于查询的集合预测。在与全自动方法并行发展的同时，交互式分割模型也得到了开发。Segment Anything Model (SAM)[9 (https://arxiv.org/html/2608.11424#bib.bib10)]引入了通用的可提示栅格分割。多项工作将 SAM 应用于建筑提取。SAMPolyBuild[13 (https://arxiv.org/html/2608.11424#bib.bib11)]预测额外的栅格图以辅助后处理矢量化。PolyFootNet[10 (https://arxiv.org/html/2608.11424#bib.bib8)]专注于在非天底（off-nadir）影像中同时分割屋顶和建筑足迹。它通过直接坐标计算和与 HiSup[15 (https://arxiv.org/html/2608.11424#bib.bib3)]类似的掩膜引导连接策略来预测多边形。GeoAI 插件[11 (https://arxiv.org/html/2608.11424#bib.bib17)]是一个更适合生产环境的工具，适配了 SAM。建筑（和墙体）制图最重要的方面是最终顶点位置的精度。最简单的端到端方法会比涉及额外输出和后处理步骤的更复杂方法更具优势。此外，建筑形状乍一看很规则（例如，可以很好地重建为矩形的并集），但实际有相当数量（不可忽视）的建筑是不规则形状，因此更倾向于采用不会对最终形状引入任何固定偏置的通用方法。基于这些原因，我们的工作利用了 Florence-2[14 (https://arxiv.org/html/2608.11424#bib.bib12)]视觉语言模型，因为它可以直接预测位置 token，并通过单一的交叉熵损失进行监督，使其唯一目标就是精确放置顶点。它对可预测的最终形状没有固定偏置，同时能够从数据中学习形状偏置，这对于在遮挡情况下预测形状很有用。Florence-2 的 Seq2Seq 特性使其具有很强的适应性，使我们能够设计一个交互式系统，帮助用户通过点击更快地创建或修正建筑和墙体地图。此外，这个交互式系统是迈向未来全自动模式的重要基石，该模式仍允许人在回路中，而这在真实生产环境中是强制性的。我们的贡献包括：
1. 一个在卫星影像上预测建筑多边形的模型
2. 一个能够将建筑区（block）拆分为独立建筑的系统
3. 一个在卫星影像上预测墙体线状要素的模型
4. 结合人在回路的机制，以实现更好的控制

## II 方法
我们的工作扩展了 Florence-2[14 (https://arxiv.org/html/2608.11424#bib.bib12)]模型，在三个新任务（工具）、、上对其进行训练。提示词由任务加上用户希望在图像中提取建筑/墙体（类似 SAM[9 (https://arxiv.org/html/2608.11424#bib.bib10)]）或拆分建筑时的点击位置组成。参见图1 (https://arxiv.org/html/2608.11424#S1.F1)了解方法概览。

### II-A 数据集
建筑数据集包含 202 个地理区域（159 个用于训练，43 个用于验证）中的 377,207 个建筑多边形，覆盖总面积约 1,344 km²。墙体数据集包含 117 个地理区域（94 个用于训练，23 个用于验证）中的 197,234 条墙体线串，覆盖总面积约 201 km²。两个数据集均使用 30 cm/px 卫星影像。为了匹配 Florence-2 的输入尺寸，各区域被裁剪为 768×768 像素的小图。我们使用了标准的图像增强技术，如旋转、缩放和颜色扰动。训练时，原始数据（影像+标注）需要经过变换，以模拟用户与模型的交互。对于，在图像中选择一个随机建筑轮廓，并在该轮廓内采样一个随机点作为用户输入点击。建筑轮廓可以是外轮廓（壳）或内轮廓（孔），以便通过多次连续点击绘制带孔的建筑。对于，选择一个随机边（建筑多边形轮廓中相连的两个顶点），并在该边附近采样一个随机点作为用户输入点击。类似地，对于，选择一个随机边（墙体线串中相连的两个顶点），并在该边附近采样一个随机点作为用户输入点击。所有坐标（用户点击和真值几何）都使用 Florence-2 的位置 token 转换为其词汇表。因此，训练样本由一个 768×768 像素图像、一个提示词（任务+模拟用户点击的 token 化坐标）和一个答案（多边形 token 化坐标序列或边 token 化坐标，具体取决于任务）组成。

### II-B 训练
为了避免训练完整的 2.3 亿参数 Florence-2 模型，我们使用了 LoRA 方法[8 (https://arxiv.org/html/2608.11424#bib.bib13)]，在主要层上采用秩 256，将可训练参数数量降至 7000 万。我们为每个任务训练了一个适配器。在 8 块 A100 GPU 上以批大小 8 训练了 7 天。在 8 块 A100 GPU 上以每 GPU 批大小 7 训练了 27 天。墙体任务在单块 L40S GPU 上以批大小 10 训练了 14 天。

### II-C 实现细节
系统采用服务器-客户端架构实现，多个客户端可连接到同一服务器。对于大范围卫星影像的推理，Click2Poly 在重叠的 768×768 像素网格单元上工作。对于每次用户点击，选择中心距离点击位置最近的单元。裁剪图像并馈送到 Florence-2 的图像编码器，随后 Florence 的 Seq2Seq 部分按顺序预测顶点。该单元的中间图像编码会被缓存，以便下次用户点击选择该单元时跳过图像编码器，从而更快地产生输出。在性能方面，一次图像编码请求往返约需 1.3 秒，一次多边形预测请求往返约需 0.8 秒（服务器运行在 RTX 3060 GPU 上）。

### II-D 实验设置
Click2Poly 的主要目标是加速真实生产环境中自动提取结果所必需的人工修正。为了衡量这一加速效果，我们首先在 4 个新的测试区域（我们的自动提取模型和 Click2Poly 均未见过）上运行最新的自动建筑提取模型（是[5 (https://arxiv.org/html/2608.11424#bib.bib14)]的演进版本）。然后我们测量专家操作员在两种场景下修复所有问题所需的时间：第一种不使用 Click2Poly（使用标准的 QGIS 工具+内部非 AI 辅助工具），第二种在可用工具中加入 Click2Poly。我们必须考虑熟悉度偏差：如果操作员先不用 Click2Poly 修复一个区域，然后用 Click2Poly 做同样的练习，部分加速效果可能来自已经熟悉该区域以及知道要修复哪些几何及其正确形状。为消除这一影响，我们采用了拉丁方设计：4 名操作员分别修复 4 个测试区域，每个区域交替使用不同方法。实验中，每名操作员的结果（标准方法和 Click2Poly）都会由标注管理员进行检查，以确保所有最终矢量图都通过质量控制。除测量操作员用时外，我们还使用每对操作员在每个区域上的结果之间的 IoU（交并比）来衡量操作员一致性。4 个测试区域经过精心选择，覆盖不同类型的城市景观：
- A：安哥拉罗安达 0.5 km²，30 cm/px Pléiades Neo 影像（约 700 栋建筑，稀疏住宅区）。
- B：巴西圣保罗 0.25 km²，30 cm/px Pléiades Neo 影像（约 400 栋建筑，市中心）。
- C：菲律宾罗萨里奥 0.5 km²，30 cm/px Pléiades Neo 影像（约 3,000 栋建筑，密集住宅区）。
- D：乌干达坎帕拉 2.5 km²，50 cm/px Pléiades 影像（约 1,000 栋建筑，商业区）。

## III 结果与讨论
参见图说明
(a) 安哥拉罗安达
(b) 巴西圣保罗
(c) 菲律宾罗萨里奥
(d) 乌干达坎帕拉
图2：测试影像裁剪图。蓝色为自动提取结果。紫色为使用 Click2Poly 进行的修复。
实验结果。测试区域的可视化结果如图2 (https://arxiv.org/html/2608.11424#S3.F2)所示，展示了使用 Click2Poly 修复自动提取结果的各种场景（包括在建建筑）。图1 (https://arxiv.org/html/2608.11424#S1.F1)还展示了在弧形建筑上的一些预测。计时结果见表I (https://arxiv.org/html/2608.11424#S3.T1)。加速差异源于各区域的大小、建筑数量以及难度不同。总体而言，Click2Poly 提高了人工修正的速度，总加速比为×1.53。但区域 B 位于市中心，包含多层面复杂建筑，且影像为离天底（off-nadir）图像，使用 Click2Poly 时速度较慢，因为其部分结果仍需使用标准工具手动修复。区域 C 获得了最佳加速比，表明只要建筑不是多层面且影像更接近天底（nadir），模型在密集建成区表现非常好。
表I：使用标准工具与 Click2Poly 对各操作员在各测试区域进行自动建筑提取人工修正的时间（分钟）。
- S = 标准工具；C = Click2Poly。加速比计算方式为：\(\frac{\overline{\text{Standard}}}{\overline{\text{Click2Poly}}}\)。

操作员一致性。我们在表II (https://arxiv.org/html/2608.11424#S3.T2)中展示各区域操作员之间的一致性。首先，这些结果表明制图本身具有歧义性：4 名不同操作员会生成 4 个略有差异的图，这使得为深度学习训练定义真正的真值变得困难。其次，结果普遍具有 90% 以上的 IoU 一致性，确保表I (https://arxiv.org/html/2608.11424#S3.T1)中的各种计时结果具有可比性。最后，我们观察到区域 B 的一致性最低，IoU 为89.1%，很可能是因为该区域更困难。
表II：每个测试区域操作员结果之间的交并比（IoU）。由于对称性，仅显示上三角。每个区域的平均 IoU 一致性：A=90.7%,B=89.1%,C=96.5%,D=95.9%。

参见图说明
图3：不同交互式方法的结果。第一行：GeoAI 插件[11 (https://arxiv.org/html/2608.11424#bib.bib17)]运行 SAM 3 模型[3 (https://arxiv.org/html/2608