标签
提出了一种基于注意力机制的物理引导卷积神经网络作为代理模型,用于预测由Cahn-Hilliard方程支配的系统的微观结构演化,展示了稳定且准确的长期预测。
一篇介绍Three-Phase Transformer(3PT)的研究论文,该模型将特斯拉的多相几何应用于Transformer架构,将残差流组织成三个120°偏移的相位。该方法在WikiText-103上以极少的参数(0.00124%的开销)实现了7.2%的困惑度提升,以及1.93倍的收敛加速。