optax

一名用户演示了使用OpenAI的Codex自动生成一个Colab笔记本，该笔记本在JAX/Flax/Optax中训练一个约1000万参数的transformer进行加法运算，在T4 GPU上经过4000步后达到了高准确率。