PE-MHL:用于复杂系统可扩展学习的物理编码模块化混合层
摘要
本文提出PE-MHL,一种物理编码模块化混合层框架,通过数据驱动子模型逐步优化基于物理的模型,提供理论收敛保证,并在控制基准测试中优于单一网络。
arXiv:2606.04290v1 公告类型:新
摘要:结合基于物理和数据驱动组件的混合模型在控制应用中展现出实现准确性和可解释性的强大潜力。尽管近期方法在融合物理一致性方面取得了进展,但在可扩展性、对噪声的鲁棒性以及模型复杂度控制方面仍存在挑战。本文提出了一种物理编码模块化混合层(PE-MHL)框架,该框架通过逐步添加新的子模型来持续优化基线物理模型,每个新组件在保留先前组件已学习知识的同时增加复杂度。我们为此构建提供了理论保证:通过对每个新子模型进行最小二乘初始化,训练误差随子模型数量单调非增且可证明收敛。在非线性NARX基准测试和Quanser Aero 2平台上的实证评估表明,PE-MHL在精度和泛化能力上均优于同等规模的单一网络,同时提供更稳定的训练动态并更好地保留底层数据结构。
相似文章
PIMSM: 物理信息驱动的多尺度Mamba:分布偏移下稳定的神经表示
本文提出物理信息驱动的多尺度Mamba(PIMSM),这是一种状态空间架构,它将模型记忆与物理时间尺度对齐,以提升在科学时间序列分布偏移下的鲁棒性,并在fMRI和天气预报任务上展示了改进。
基于混合分析与机器学习预测器的大语言模型推理延迟与能耗多级建模
本文介绍了HYMELL,一种混合分析与机器学习框架,用于估算LLM在预填充(prefill)和解码(decode)阶段的推理延迟与能耗,并在NVIDIA H100上进行了验证,对LLaMA 3 8B的误差低于5%。
多模态预训练的物理:知识流动、模态协同、早期统一与配方
本文系统性地探索了多模态预训练的物理机制,揭示了知识在模态之间如何流动、协同与竞争的条件、早期统一的优势,以及在13.5B MoE模型上验证的高效预训练配方。
基于大语言模型的物理蒸馏神经网络用于制造过程-属性预测建模
本文提出了一种新颖框架,利用大语言模型从科学文献中提取解析物理先验知识,并将其蒸馏到一个轻量级神经网络中,即使在数据有限的情况下,也能实现对制造过程-属性的高精度实时预测。
物理知识引导的混合神经学习在北极海冰浓度演变与短期预测中的应用
本文介绍了PIHIM,一种物理信息混合神经模型,用于预测北极海冰浓度演变,结合深度学习与物理方程以提高准确性和短期预测能力。