gflownets

本文介绍了一类基于f-散度的损失函数族，用于训练GFlowNet和LLM等生成模型。这些损失函数在离策略下有效，同时匹配相应f-散度的在线策略梯度。应用包括分子发现和异步LLM调优。

本文识别了扩散语言模型奖励最大化后训练中的一种失败模式，称为“轨迹锁定”，并提出了TraFL，一种轨迹平衡目标，可提高数学和代码基准测试中的多样性和性能。