implicit-differentiation

本文介绍了响应重整化，一种通过解决近奇异雅可比矩阵问题来提高深度平衡模型训练稳定性的反向传播框架，并在各种多物理场应用中进行了验证。

本文介绍了吸引子模型，该模型利用定点求解和隐式微分进行高效的迭代优化，在降低计算成本的同时，实现了相较于传统Transformer更优的语言建模和推理性能。