@LakshyAAAgrawal: 从丰富的文本反馈（错误、轨迹、部分推理）中学习，对于LLM优化来说，优于仅使用标量奖励。…

从丰富的文本反馈（错误、轨迹、部分推理）中学习，对于LLM优化来说，优于仅使用标量奖励。GEPA在上下文空间优化（提示和代理工具）中证明了这一点，以远低于RL的成本实现了前沿结果。但仅上下文优化受限于基础模型的能力上限；权重更新可以达到更远。非常兴奋于这个关于快速-慢速训练（FST）的新研究方向，它将上下文和模型权重优化交替进行！其理念是两个交替循环之间的清晰分工：快速循环（上下文）：GEPA读取丰富的 rollout 反馈，更新上下文层。上下文成为快速更新的暂存区，记录模型当前需要了解的任务信息。慢速循环（模型参数）：RL根据不断演化的上下文更新模型参数。由于提示已经携带了任务特定的细微差别，模型参数无需吸收这些信息，而是专注于跨任务泛化并推动前沿。⦁ 在数学、代码和物理推理上，样本效率比单独RL高3倍⦁ 在相同准确度下，与基础模型的KL散度降低约70%⦁ 保持可塑性：FST检查点在新任务上对额外RL的响应优于仅RL的检查点⦁ 持续学习跨变化任务（HoVer → CodeIO → Physics），而RL在任务切换时停滞FST 是一个发展方向，旨在：⦁ 解决RL的痛点：熵坍缩、稀疏奖励、长程探索⦁ 为权重更新提供丰富的反馈通道⦁ 演示模型与工具的共同进化⦁ 发现：利用快速上下文更新进行广泛探索，同时利用不断改进的模型。查看下方完整线程：