trajectory-balance

本文介绍了一类基于f-散度的损失函数族，用于训练GFlowNet和LLM等生成模型。这些损失函数在离策略下有效，同时匹配相应f-散度的在线策略梯度。应用包括分子发现和异步LLM调优。

本文识别了扩散语言模型奖励最大化后训练中的一种失败模式，称为“轨迹锁定”，并提出了TraFL，一种轨迹平衡目标，可提高数学和代码基准测试中的多样性和性能。

SkillFlow 提出了一种基于流程驱动的递归技能演化框架，用于基于大语言模型的智能体编排，采用 Tempered Trajectory Balance 来防止策略崩溃并提供透明的信用分配。在 14 个数据集上的实验表明，在问答、数学、代码和决策制定任务中，该框架显著优于基线方法。