@r_de_santi: 生成模型无法发现它们无法触及的东西。我们很高兴推出 ActFlow:一个持续预训练方案…
摘要
本文介绍了 ActFlow,这是一种持续预训练方案,旨在扩展流模型和扩散模型的有效设计空间,从而实现分布外生成建模,并为科学发现提供可进化的搜索空间。
查看缓存全文
缓存时间: 2026/08/27 05:33
生成模型无法发现其无法触及的领域。
我们很高兴推出 ActFlow:一种持续预训练方案,它能主动扩展流模型和扩散模型所能触及的有效设计空间。我们将此称为“可生成集合扩展”——这是针对分布外生成建模的新学习原则,也是迈向可演化搜索空间以实现科学发现的重要一步。(1/5)
生成模型不应仅仅匹配其训练数据分布,更应主动扩展至分布之外。ActFlow利用模型自身的生成表征来选择不确定的前沿样本,通过验证器进行查询,并更新模型以访问新的分布外区域。(2/5)
在小分子、类药分子、治疗性肽段和蛋白质等任务中,ActFlow显著提升了近期流模型与离散扩散模型的覆盖率–有效性。其有效覆盖范围相比递归监督微调基线方法提升最高达6倍,并在所有设定中展现出最高的多样性。(4/5)
我们将分布外生成建模重构为学习表征中的可达性问题:从模型已能生成的内容出发,通过一系列微小的局部跳跃,可以抵达哪些有效区域——即使是遥远的区域?我们正式提出这一视角,并为生成模型主动扩展超出初始覆盖范围建立统计保证。(4/5)
与杰出合作者及导师共同完成:Bruce Lee, @cristianpjensen, @KimonProto6689, @sophia_tang, Cheng-Hao Liu, @pranamanam, @yisongyue, 以及 @arkrause。(5/5)
论文:https://arxiv.org/pdf/2606.08802
网站:https://riccardodesanti.com/projects/actflow/…
代码:https://github.com/riccardodesanti/active_diffusion_models…
相似文章
基于流生成模型的残差空间进化优化
介绍了一个结合流生成编辑和进化算法的框架,用于在残差空间中进行优化,支持使用不可微目标进行可控数据编辑。在MorphoMNIST和晶体数据上进行了验证。
Flow-Direct: 通过非参数引导场实现高效反馈与可复用的流模型引导
Flow-Direct 提出了一种用于基于流的生成模型的非参数引导场,该引导场持续累积奖励反馈,提高了反馈效率,并使得收集的样本可重复用于引导多目标生成,无需额外的奖励评估。
FlowLM: 基于扩散-流适配的少步语言建模
FlowLM 提出了一种流匹配语言模型,通过高效微调从预训练扩散模型衍生而来,能够实现高质量少步文本生成,其效果可与2000步扩散采样相媲美,而训练轮次更少。
Flow-Map GRPO:基于锚定随机组合的少步流图生成器强化学习
提出了Flow-Map GRPO,一种用于确定性少步流图生成器的在线RL后训练框架,引入了锚定随机流图组合(ASFMC)以在不改变原始模型参数化的情况下实现随机优化。在基于FLUX的MeanFlow和sCM上的实验表明,在基于奖励的、感知的和任务级别的指标上均有改进。
连续对抗性MeanFlow迁移
本文提出MeanFlow-Transfer(MF-T)和连续对抗性MeanFlow(CAMF),以统一预训练扩散和流动模型的适配和加速,实现数据有限新领域的高质量少步生成。