基于openEO的地球观测数据立方体机器学习API

# 基于 openEO 的地球观测数据立方体机器学习 API  
来源：https://arxiv.org/html/2609.13453  
Brian Pondi 邮箱：[brian\.pondi@uni\-muenster\.de](mailto:[email protected]) 所属机构：地理信息研究所，明斯特大学，海森贝格大街 2 号，明斯特，48149，北莱茵-威斯特法伦州，德国  
Jonas Hurst 邮箱：[jhurst@uni\-muenster\.de](mailto:[email protected]) 所属机构：地理信息研究所，明斯特大学，海森贝格大街 2 号，明斯特，48149，北莱茵-威斯特法伦州，德国  
Rolf Simoes 邮箱：[rolfsimoes@gmail\.com](mailto:[email protected]) 所属机构：FGV Agro - 农业研究中心，热图利奥·瓦加斯基金会，保利斯塔大道 542 号，圣保罗，01310\-000，圣保罗州，巴西  
Jonas Starke 邮箱：[jstarke@uni\-muenster\.de](mailto:[email protected]) 所属机构：地理信息研究所，明斯特大学，海森贝格大街 2 号，明斯特，48149，北莱茵-威斯特法伦州，德国  
Marius Appel 邮箱：[marius\.appel@hs\-bochum\.de](mailto:[email protected]) 所属机构：波鸿应用科学大学，大学校园路 1 号，波鸿，44801，北莱茵-威斯特法伦州，德国  
Edzer Pebesma 邮箱：[edzer\.pebesma@uni\-muenster\.de](mailto:[email protected]) 所属机构：地理信息研究所，明斯特大学，海森贝格大街 2 号，明斯特，48149，北莱茵-威斯特法伦州，德国  

###### 摘要  
地球观测（EO）数据正越来越多地被组织为时空数据立方体进行分析，而机器学习（ML）方法则基于表格特征矩阵或结构化张量输入运行。这种表示差异意味着，目前将 ML 整合到 EO 工作流中需要针对特定平台的转换，这些转换难以复现或跨云基础设施迁移。openEO 规范为异构后端上的 EO 数据访问和处理提供了统一接口，但缺乏标准化的 ML 集成方法。我们为 openEO 提出了一种过程级 ML 规范，将工作流构建为三个阶段：模型初始化、模型操作（涵盖训练、调优、推理、验证）以及模型管理。该规范既支持经典算法（如随机森林和支持向量机），也支持用于时间序列和空间斑块建模的深度学习架构，包括 TempCNN、时序注意力编码器以及基础模型推理。R 和 Python 中的三个原型实现展示了跨不同技术栈的可行性。一个作物类型制图用例通过向独立的 R 和 Python 后端提交相同的过程图，并比较所得预测和评估指标，展示了跨后端互操作性。另外两个用例分别展示了时间序列上的深度学习和基础模型推理，均在专用后端上执行。然而，原型实现表明，完全的跨后端可移植性需要比仅靠过程级更深层次的序列化格式和执行语义的协调；规范边界之外的后端库版本和预处理约定也会影响可复现性。通过显式的后端符合性配置文件来解决这两个问题，是最重要的近期方向。该规范提升了 ML 工作流在云平台上的地球观测数据立方体上的可复现性、可移植性和可访问性。  

###### 关键词  
openEO、地球观测、数据立方体、机器学习、深度学习、互操作性  

### 1 引言  
地球观测（EO）数据正越来越多地被组织为*数据立方体*进行分析：具有明确空间、时间和波段维度 `(x,y,time,band)` 的多维数组（Baumann 等人，2018；Appel 和 Pebesma，2019）。这种表示支持可扩展分析、可复现查询以及跨大型 EO 数据存档的一致时空对齐。受卫星技术和开放数据共享政策进步的驱动，大量 EO 数据现在可免费用于土地覆盖监测、碳储量估算和灾害响应等应用（Wulder 等人，2012；Kansakar 和 Hossain，2016）。由于这些数据集的 PB 级规模（例如，截至 2026 年 5 月，哥白尼数据空间生态系统中超过 90 PB¹¹¹https://dashboard.dataspace.copernicus.eu/，访问于 2026 年 5 月），EO 数据立方体主要存储和处理于云环境中。同时，机器学习（ML）已成为从这些数据集中提取模式和预测的核心分析工具，应用于土地覆盖分类（Pelletier 等人，2019）、作物产量估算（Qiao 等人，2021）和灾害监测（Xie 等人，2020）。然而，EO 数据立方体与 ML 模型实际消耗的数据之间存在根本性的表示鸿沟。随机森林（Breiman，2001）和支持向量机（Cortes 和 Vapnik，1995）等经典方法期望表格特征矩阵，而深度学习模型则需要具有固定形状和顺序的结构化多维数组。弥合这一鸿沟需要系统性地在立方体、表格和张量之间进行转换（图 1），以满足每个模型的输入约束。在实践中，这些转换是以*临时*和平台特定的方式实现的，与特定的软件栈或 ML 库紧密耦合。因此，为某个平台开发的工作流难以复现、重用或跨基础设施迁移，即使它们在概念上操作相同的 EO 数据立方体（Schramm 等人，2021）。Rolf 等人（Rolf 等人，2024）认为，卫星数据构成了 ML 中一种独特的模态，其时空结构需要专门的方法，而不是直接重用为自然图像设计的方法。缺乏 EO 特定 ML 操作的共享抽象，迫使每个平台独立重新实现这些方法，分散精力并限制了跨基础设施的可复现性。  

参见标题图 1：EO 数据立方体、表格特征矩阵（经典 ML）、张量表示（深度学习）和预测立方体之间的表示转换。每个转换都必须在立方体的命名维度与模型期望的输入布局之间架起结构失配的桥梁。  

openEO 规范通过一个用于查询和操作数据立方体的通用 API，标准化了 EO 数据访问和处理（Schramm 等人，2021）。2026 年 4 月，开放地理空间联盟（OGC）批准并发布了 openEO API 作为 OGC 社区标准，以及 openEO 过程作为 OGC 社区实践（Mohr，2026a；Mohr，2026b）。随着 openEO 在正式治理下的采用规模扩大，临时的、特定于后端的 ML 解决方案变得越来越不可持续：一个各平台可以独立管理的差距现在需要在规范层面提供共享解决方案。然而，openEO 对 ML 的支持仍然有限且分散。少数 ML 相关过程存在于孤立的后端中，并被标记为“实验性”超过四年，特别是 VITO 的 Terrascope 平台²²²https://docs.terrascope.be/Developers/WebServices/OpenEO/OpenEO.html 上的 `fit_class_random_forest` 和 `predict_random_forest`，但这些过程在没有共享结构的情况下演进，并且不可跨后端移植。用户定义函数（UDF）原则上允许深度学习工作流，但它们通常依赖于特定后端的环境，这限制了可移植性和可复现性。因此，扩展 openEO 以支持 ML 不仅需要额外的端点，还需要一个与现有数据立方体模型集成的连贯的过程级规范。  

为了解决这一差距，我们为 openEO 生态系统内的 EO 数据立方体提出了一个标准化的 ML 规范。该规范将 ML 工作流构建为三个阶段：(i) 模型初始化，(ii) 模型操作（涵盖训练、调优、推理和验证），以及 (iii) 模型管理（涵盖保存和加载）。通过在过程级别定义这些操作，相同的工作流只需表达一次即可跨异构后端执行，同时与底层 ML 表示无关。我们评估两个主张：(i) 过程级 ML 规范可以在单一的声明式抽象中表达 EO 实践中三种主要的监督 ML 工作流类型——基于特征、基于时间序列和基于斑块；(ii) 提交到独立 openEO 后端的相同过程图产生的预测，其总体精度和主要的逐位置类别分配在底层 ML 库默认值差异预期的变化范围内是一致的。  

这项工作的贡献是三方面的：(i) 一个与 openEO 过程目录集成的、与后端无关的过程级 ML 规范，涵盖经典 ML、时间序列深度学习和基础模型工作流；(ii) 在 R 和 Python 中的原型实现；(iii) 代表性用例，展示了该规范如何提高 EO 数据立方体上 ML 工作流的可互操作性、可复现性和可访问性。模块化的过程结构为未来扩展到新兴范式奠定了基础，包括联邦学习（Moreno\-Álvarez 等人，2024）和大规模基础模型（Xiao 等人，2024）。  

### 2 背景  
#### 2\.1 数据立方体  
EO 中广泛使用的一种数据结构是*栅格数据立方体*：一个具有空间、时间和光谱轴一致的多维数组，它将大型卫星图像集合组织成统一、可查询的形式（Kopp 等人，2019）。图像集合包含一组卫星图像，每张图像包含多个光谱波段或变量。在单张图像中，波段通常共享共同的空间范围、获取时间戳和参考系，尽管它们的像素分辨率可能不同（Appel 和 Pebesma，2019）。与数据立方体规则结构不同，传统的图像集合通常包含具有不规则空间覆盖、可变获取间隔和不同坐标参考系的场景，这使得统一处理更具挑战性。通过在命名维度 `(x,y,time,band)` 上标准化索引并附加明确的元数据，数据立方体确保相同的查询跨后端产生相同的样本。确定性重切片和一致的维度标签进一步保证了训练、验证和推理使用相同的时空参考，无论执行环境如何。这些特性使得数据立方体成为本文提出的 ML 规范的自然锚点：后面章节定义的初始化、拟合、预测和管理过程都在这个共享结构上操作。  

图 2 展示了一个将图像文件转换为规范立方体布局 `(x,y,time,band)` 的工作流，该布局支持规范中贯穿的采样和批处理。  

参见标题图 2：将图像/栅格文件转换为像素对齐的图像/栅格数据立方体 `(x,y,time,band)` 的工作流。改编自 Kopp 等人（2019）。  

栅格数据立方体规则的、类似张量的结构使其天然兼容各种 ML 架构。卷积和循环模型直接受益于立方体保留的空间和时间顺序（Zhu 等人，2017），而专门为 EO 数据开发的架构，包括 TempCNN（Pelletier 等人，2019）、ConvLSTM（Rußwurm 和 Körner，2018）和时序自注意力网络（Sainte Fare Garnot 和 Landrieu，2020），利用这种结构从对齐的观测序列中学习物候和空间模式。作为栅格立方体的补充，*矢量数据立方体*³³³https://r-spatial.org/r/2022/09/12/vdc.html 为训练和验证数据提供了结构化表示。与栅格立方体类似，它们被建模为 n 维数组，但至少包含一个映射到 2D 矢量几何图形（如点、线或面）集的空间维度。其他轴捕获时间、属性或类别标签。这种设计使矢量立方体能够以可查询的形式存储地面真实标注，如田块边界、土地覆盖类别或点测量值。至关重要的是，矢量数据立方体可以通过空间和时间关系与栅格数据立方体连接，为监督学习工作流中的特征输入和目标变量之间提供干净的接口。  

#### 2\.2 EO 数据立方体的 ML 工作流类型  
EO 数据为 ML 带来了独特的挑战。与传统的表格数据集不同，卫星影像本质上是时空的、高维的，并且具有空间自相关性（Rolf 等人，2024；Adegun 等人，2023）。观测结合了多个光谱波段、精细的空间分辨率和重复的时间获取，这些特性违反了许多标准 ML 方法所基于的独立同分布（i\.i\.d\.）假设。线性回归、逻辑回归和朴素贝叶斯分类器假设观测是从固定分布中独立同分布抽样的，当相邻像素共享空间上下文或重复获取具有时间相关性时，该假设就失效了。即使是随机森林（Breiman，2001）和梯度提升机等集成方法，在实践中虽然更稳健，但依赖于必须仔细工程化以显式编码时空结构的表格特征向量。支持向量机（Cortes 和 Vapnik，1995）面临类似的限制。因此，EO 的 ML 工作流必须显式考虑空间和时间结构，而不是将观测视为可交换的样本。  

在 openEO 中，卫星集合被暴露为可以通过标准化过程查询和转换的数据立方体。这种抽象实现了跨后端一致提取像素时间序列、图像斑块或聚合特征。然而，不同的 ML 模型以根本不同的形式消耗 EO 数据，数据立方体分解为学习单元的方式塑造了整个 ML 工作流，并决定了必须支持哪些操作。第 5、6\.1 节中的三个用例...