runge-kutta

本文提出使用Runge-Kutta积分方法的基于ODE的Transformer解码器，以改进手语翻译的迭代细化过程，在不增加模型大小的情况下，取得了比IPSLT基线更好的BLEU分数。

本研究介绍了一种技术，通过使用阻尼Runge-Kutta子步骤，在推理时循环冻结的、现成的Transformer检查点，将Transformer层视为残差ODE中的欧拉步骤。这无需微调、架构更改或新权重即可增加额外的潜在计算，在MMLU-Pro、GPQA和ARC等知识任务上显示出收益。