CrystalGRPO：面向流基晶体结构预测的目标对齐与覆盖保持强化学习

# CrystalGRPO：基于流的晶体结构预测中的目标对齐与覆盖保持强化学习

来源：https://arxiv.org/html/2608.06582

Kaixiang Su\(^1\)，Hongfei Xue\(^1,\)*，Qiang Zhu\(^2,3,\)*
\(^1\)Department of Computer Science, University of North Carolina at Charlotte  
\(^2\)Department of Mechanical Engineering and Engineering Science, University of North Carolina at Charlotte  
\(^3\)North Carolina Battery Complexity, Autonomous Vehicle and Electrification \(BATT CAVE\) Research Center  
Charlotte, NC 28223, USA  
[email protected], [email protected], [email protected]  
*通讯作者

###### 摘要

基于流的生成模型能够高效地为晶体结构预测（CSP）生成候选结构，但其预训练目标并不直接优化下游目标恢复。强化学习后训练提供了一种灵活的解决方案，但现有方法主要依赖能量奖励和仅坐标的随机策略。预测能量无法识别参考多晶型，而奖励驱动的集中化可能降低Top-N恢复所需的候选覆盖。我们提出CrystalGRPO，一个面向CSP对齐的后训练框架，将现有的ODE到SDE策略构建扩展到坐标-晶格联合状态。CrystalGRPO结合了MACE预测能量与基于StructureMatcher的恢复分数，并提供两种运行模式：CrystalGRPO-Q优先考虑单次采样恢复；CrystalGRPO-C将全轨迹参考正则化与覆盖感知的组优势相结合，以在有限预算内保持目标恢复。在MP-20和MPTS-52上使用PXRDGen和OMatG骨干网络的实验中，两种变体在所有四种骨干网络-数据集设置下均相对于仅坐标强化学习降低了一次和二十样本的RMSE。CrystalGRPO-Q持续改进Top-1，而CrystalGRPO-C在所有设置下均实现了更高的Top-20。

## 1 引言

晶体结构预测[18 (https://arxiv.org/html/2608.06582#bib.bib9)]（CSP）旨在从化学组成和实验观测中恢复晶体的晶格与原子排列[13 (https://arxiv.org/html/2608.06582#bib.bib16)]。在实践中，生成式CSP模型充当提案引擎：它应产生一组紧凑的候选结构，供后续通过更高保真度的计算或实验精修进行验证[20 (https://arxiv.org/html/2608.06582#bib.bib27)]。因此，我们将CSP视为有预算限制的目标恢复问题，其中单候选精度和有限候选预算下的目标覆盖都至关重要。

参见图1说明：在晶体结构预测中，预测能量无法唯一识别目标多晶型。该示意图根据预测的相对能量和与参考结构的结构位移来放置随机采样轨迹的端点。从潜在噪声出发的采样轨迹可能终止于参考匹配的能量盆地（蓝色）、有效的低能非目标盆地（红色），或无效或扭曲的高能区域（灰色）。由于非目标多晶型可能被赋予比参考