fast-slow-training

这条推文介绍了Fast-Slow Training (FST)，一种新的持续学习方法，将模型参数视为慢权重，优化上下文视为快权重，据称在数学、代码和通用推理基准测试上全面优于仅权重训练。

快速-慢速训练（FST）将上下文优化（通过GEPA）与通过强化学习进行的模型权重更新交替进行，在数学、代码和物理推理上实现了比单独使用RL高3倍的样本效率，同时保持了可塑性并实现了持续学习。