当代理预测变成方程重构:因子派生代理监督的诊断与残差学习
摘要
这篇arXiv论文研究了科学机器学习中因子派生代理监督的问题,并以基于RUSLE的土壤流失预测作为案例研究。它引入了一个诊断框架,并提出了RASPL,一种保留公式的残差学习框架,该框架优于直接预测,并提高了对退化因子信息的鲁棒性。
arXiv:2608.04393v1 公告类型:新
摘要:科学机器学习通常在直接观测有限时,依赖从已知领域因子计算出的代理目标。然而,当这些相同的因子被用作模型输入时,高预测精度可能反映的是对代理生成方程的重构,而非对退化因子信息的鲁棒性。我们在土壤可蚀性因子 $K$ 受控退化的情况下,研究了RUSLE派生土壤流失代理预测中的这一问题。我们引入了一个诊断框架,该框架结合了退化公式参考、经典基于树的基线、匹配的直接预测器和公式特征预测器、上下文消融、尾部误差分析以及退化鲁棒性评分。随后我们提出了RASPL,一种保留公式的残差框架,它将退化公式估计值作为预测锚点,并学习一个自适应门控的上下文修正。RASPL显著优于匹配的直接预测,并且在鲁棒性和尾部性能上比将公式估计值视为普通输入特征更强。在RASPL内部,一个紧凑的统计编码器实现了最高的宏观平均 $R^2$ 和最低的计算成本,而卷积编码器则实现了最强的退化鲁棒性和最低的Tail95平均绝对误差(MAE)。这些结果确立了公式保留作为从因子派生代理目标进行鲁棒学习的核心设计原则。
查看缓存全文
缓存时间: 2026/08/06 07:49
# 当代理预测成为方程重建:因子派生代理监督的诊断与残差学习 来源:https://arxiv.org/html/2608.04393 ###### 摘要 科学机器学习经常在直接观测有限时依赖由已知领域因子计算得到的代理目标。然而,当这些相同的因子被用作模型输入时,高预测精度可能反映的是对代理生成方程的重建,而不是对退化因子信息的鲁棒性。我们在土壤可蚀性因子 K 受到受控退化的 RUSLE 派生土壤流失代理预测中研究这一问题。我们引入了一个诊断框架,该框架结合了退化公式参考、经典树模型基线、匹配的直接预测器与公式特征预测器、上下文消融、尾部误差分析以及退化鲁棒性评分。然后我们提出了 RASPL,一种保留公式的残差框架,它将退化的公式估计保留为预测锚点,并学习一种自适应门控的上下文校正。RASPL 明显优于匹配的直接预测,且相比将公式估计作为普通输入特征,具有更强的退化和尾部鲁棒性。在 RASPL 内部,一个紧凑的统计编码器实现了最高的宏平均 R² 和最低的计算成本,而卷积编码器则实现了最强的退化鲁棒性和最低的 Tail95 平均绝对误差 (MAE)。这些结果确立了公式保留作为从因子派生代理目标进行鲁棒学习的核心设计原则。 ## 引言 在许多科学机器学习应用中,直接测量在规模上是稀疏、昂贵或不可用的。流域尺度土壤流失建模就是这样一个场景:实地测量对于物理验证很有价值,但空间完整的侵蚀标签很少可用于大规模监督学习 ([Benavidez et al. 2018](https://arxiv.org/html/2608.04393#bib.bib1); [Borrelli et al. 2017](https://arxiv.org/html/2608.04393#bib.bib27))。因此,土壤侵蚀评估通常依赖于由降雨侵蚀力、土壤可蚀性、地形和覆盖管理因子构建的 RUSLE 派生代理估计 ([Panagos et al. 2015](https://arxiv.org/html/2608.04393#bib.bib2); [Borrelli et al. 2017](https://arxiv.org/html/2608.04393#bib.bib27); [Li et al. 2023](https://arxiv.org/html/2608.04393#bib.bib3))。然而,当这些相同的因子被用作模型输入时,高预测精度可能反映的是对代理生成方程的重建,而不是对退化、缺失或不确定因子信息的鲁棒性。 我们将这一设定称为*因子派生代理监督*,其中目标由已知科学因子计算得出,而非独立观测的结果。以 RUSLE 派生土壤流失代理预测作为案例研究 ([Ge et al. 2023](https://arxiv.org/html/2608.04393#bib.bib4); [Samarin et al. 2024](https://arxiv.org/html/2608.04393#bib.bib5); [Hlal et al. 2025](https://arxiv.org/html/2608.04393#bib.bib6)),目标为 $A=R\times K\times LS\times C\times P,$ (1) 其中 $R$、$K$、$LS$、$C$ 和 $P$ 分别表示降雨侵蚀力、土壤可蚀性、地形、覆盖管理和水土保持措施因子。遵循先前工作,我们在研究区域设置 $P=1$ ([İpek and Kahya 2026](https://arxiv.org/html/2608.04393#bib.bib38));因此,实现的目标简化为 $A=R\times K\times LS\times C$。当四个变化的因子作为输入提供时,目标可以直接从已知方程重建。因此,在此设置下强学习模型性能可能反映的是对代理生成方程的逼近,而不是在因子信息退化时的鲁棒性。 为了区分重建与鲁棒学习,我们在完整、噪声、粗化和掩码因子机制下评估模型,并辅以单独的缺失因子压力测试。该评估结合了匹配的退化公式参考、经典中心与邻域基线、匹配的直接预测器与公式特征预测器、上下文表示消融、尾部误差分析和退化鲁棒性评分。这些诊断将评估从在完整信息下重现代理转移到了在重要因子退化时保持鲁棒。 我们进一步提出了 RASPL,一种保留公式的残差框架,它将退化的代理公式估计保留为预测锚点,并学习一种自适应门控的上下文校正。该框架支持基于紧凑邻域统计或学习得到的卷积表示的校正,从而能够控制分析有用信息是来自邻域摘要、原始局部值还是它们的空间排列。我们的贡献如下: - 我们正式将*方程重建*定义为因子派生代理监督中的一种失效模式,即高预测精度可能并不意味着对退化因子信息的鲁棒性。 - 我们引入了一种基于受控因子退化、匹配公式参考、经典与神经基线、上下文表示消融、尾部指标和退化鲁棒性评分的诊断协议。 - 我们提出了 RASPL,一种保留公式的残差框架,它将退化的代理公式估计保留为预测锚点,并学习一种自适应门控的上下文校正。受控的统计与卷积评估证明了公式保留的益处,并刻画了平均精度、尾部鲁棒性和计算复杂度之间的权衡。 ## 相关工作 ### 因子派生代理目标与机器学习增强的侵蚀建模 当直接测量稀疏或不可用时,经验公式被广泛用于构建环境代理目标。在土壤流失建模中,RUSLE 从降雨侵蚀力、土壤可蚀性、地形和覆盖管理因子中派生侵蚀代理 ([Benavidez et al. 2018](https://arxiv.org/html/2608.04393#bib.bib1); [Panagos et al. 2015](https://arxiv.org/html/2608.04393#bib.bib2); [Li et al. 2023](https://arxiv.org/html/2608.04393#bib.bib3))。先前工作结合 RUSLE 派生因子、遥感和机器学习来估算土壤流失、改进诸如 K 因子之类的因子图层、细化侵蚀地图以及分析侵蚀驱动因素 ([Samarin et al. 2024](https://arxiv.org/html/2608.04393#bib.bib5); [Zeghmar et al. 2024](https://arxiv.org/html/2608.04393#bib.bib39); [Abiye and Dengiz 2025](https://arxiv.org/html/2608.04393#bib.bib7); [Ge et al. 2023](https://arxiv.org/html/2608.04393#bib.bib4); [Hlal et al. 2025](https://arxiv.org/html/2608.04393#bib.bib6))。相关研究使用环境预测因子从分类标签或区域侵蚀清单来绘制侵蚀敏感性图 ([Bouamrane et al. 2024](https://arxiv.org/html/2608.04393#bib.bib8); [Gelete et al. 2024](https://arxiv.org/html/2608.04393#bib.bib9); [Momeni Damanch et al. 2025](https://arxiv.org/html/2608.04393#bib.bib10); [Tkeshelashvili 2024](https://arxiv.org/html/2608.04393#bib.bib11); [Oli et al. 2025](https://arxiv.org/html/2608.04393#bib.bib12); [V.M. et al. 2025](https://arxiv.org/html/2608.04393#bib.bib13); [Islam et al. 2025](https://arxiv.org/html/2608.04393#bib.bib14))。在这些文献中,RUSLE 通常仍然是一个固定的经验公式,而机器学习改进的是其输入、输出或下游分析。我们的工作则把 RUSLE 派生量本身作为监督目标,并评估其生成因子的受控退化,以区分代理方程重建与退化因子鲁棒性,并评估保留公式的校正是否仍然有效。 ### 空间深度学习、基础模型与公式感知预测 先前研究使用 CNN、Transformer 和地理空间表示学习方法捕获局部上下文和多通道空间结构 ([Zhao et al. 2023](https://arxiv.org/html/2608.04393#bib.bib15); [Karra et al. 2021](https://arxiv.org/html/2608.04393#bib.bib16))。更近期的基础地理空间模型,包括 SatMAE、CROMA 和 GeoCLIP,从大规模对地观测数据中学习可迁移表示 ([Cong et al. 2022](https://arxiv.org/html/2608.04393#bib.bib17); [Fuller et al. 2023](https://arxiv.org/html/2608.04393#bib.bib18); [Cepeda et al. 2023](https://arxiv.org/html/2608.04393#bib.bib19))。这些方法主要改善地理空间任务中的特征表示和迁移能力,而我们的工作则针对监督目标由已知科学方程生成的独特设定。相关的物理信息与结构感知方法通过模型架构、约束或训练目标来纳入科学知识 ([Raissi et al. 2019](https://arxiv.org/html/2608.04393#bib.bib20); [Karniadakis et al. 2021](https://arxiv.org/html/2608.04393#bib.bib22); [Willard et al. 2022](https://arxiv.org/html/2608.04393#bib.bib21))。在我们的设定中,已知方程直接定义监督目标,并被保留为预测锚点,而不仅仅是辅助约束。我们进一步比较统计和卷积上下文编码器,以确定预测增益是来自邻域摘要、原始局部值还是它们的空间排列。 ### 退化特征下的鲁棒性 先前工作通过插补、增强、鲁棒损失和基于损坏的评估来处理缺失、噪声或损坏输入 ([Yoon et al. 2018](https://arxiv.org/html/2608.04393#bib.bib23); [Shorten and Khoshgoftaar 2019](https://arxiv.org/html/2608.04393#bib.bib25); [Huber 1964](https://arxiv.org/html/2608.04393#bib.bib26); [Hendrycks and Dietterich 2019](https://arxiv.org/html/2608.04393#
相似文章
代理探索与可复用引导:通过代理引导更新信号的模块化LLM后训练范式
提出PUST,一种新颖的LLM后训练框架,该框架通过轻量级代理模型将奖励探索与分布对齐解耦,从而实现可复用的更新信号以及跨模型的高效弱到强增强。
基于迭代代理校正的鲁棒不完全多模态情感分析
本文提出了一种迭代代理校正框架,旨在通过优化语言代理来提升在处理不完整或损坏输入时多模态情感分析的鲁棒性,从而改进情感预测。
基于代理指标的LLM下游性能预测
本文介绍了一种基于专家编写解决方案的token级统计的代理指标,用于预测LLM下游性能,在模型选择、预训练数据选择和训练时预测方面显著优于基于损失的方法。
R2R2: 通过自预测学习中的冗余减少实现鲁棒表示,用于密集经验重用
提出R2R2,一种用于强化学习中自预测学习的正则化方法,以缓解高更新-数据比下的过拟合,在连续控制任务上取得了显著改进。
SLPO:通过代理策略扩展潜在推理
介绍了一种代理潜在策略优化(SLPO)方法,将结果奖励强化学习应用于自回归潜在推理器,实现测试时扩展和变长策略,从而在更难实例上提高准确率。