@r_de_santi: 生成模型无法发现它们无法触及的东西。我们很高兴推出 ActFlow:一个持续预训练方案…

X AI KOLs Timeline 论文

摘要

本文介绍了 ActFlow,这是一种持续预训练方案,旨在扩展流模型和扩散模型的有效设计空间,从而实现分布外生成建模,并为科学发现提供可进化的搜索空间。

生成模型无法发现它们无法触及的东西。 我们很高兴推出 ActFlow:一种持续预训练方案,它能主动扩展流模型和扩散模型可达到的有效设计空间。我们称之为生成集扩展——一种用于分布外生成建模的新学习原则,也是迈向科学发现中可进化搜索空间的一步。 (1/5)
查看原文
查看缓存全文

缓存时间: 2026/08/27 05:33

生成模型无法发现其无法触及的领域。

我们很高兴推出 ActFlow:一种持续预训练方案,它能主动扩展流模型和扩散模型所能触及的有效设计空间。我们将此称为“可生成集合扩展”——这是针对分布外生成建模的新学习原则,也是迈向可演化搜索空间以实现科学发现的重要一步。(1/5)

生成模型不应仅仅匹配其训练数据分布,更应主动扩展至分布之外。ActFlow利用模型自身的生成表征来选择不确定的前沿样本,通过验证器进行查询,并更新模型以访问新的分布外区域。(2/5)

在小分子、类药分子、治疗性肽段和蛋白质等任务中,ActFlow显著提升了近期流模型与离散扩散模型的覆盖率–有效性。其有效覆盖范围相比递归监督微调基线方法提升最高达6倍,并在所有设定中展现出最高的多样性。(4/5)

我们将分布外生成建模重构为学习表征中的可达性问题:从模型已能生成的内容出发,通过一系列微小的局部跳跃,可以抵达哪些有效区域——即使是遥远的区域?我们正式提出这一视角,并为生成模型主动扩展超出初始覆盖范围建立统计保证。(4/5)

与杰出合作者及导师共同完成:Bruce Lee, @cristianpjensen, @KimonProto6689, @sophia_tang, Cheng-Hao Liu, @pranamanam, @yisongyue, 以及 @arkrause。(5/5)

论文:https://arxiv.org/pdf/2606.08802
网站:https://riccardodesanti.com/projects/actflow/…
代码:https://github.com/riccardodesanti/active_diffusion_models…

相似文章

基于流生成模型的残差空间进化优化

arXiv cs.AI

介绍了一个结合流生成编辑和进化算法的框架,用于在残差空间中进行优化,支持使用不可微目标进行可控数据编辑。在MorphoMNIST和晶体数据上进行了验证。

FlowLM: 基于扩散-流适配的少步语言建模

arXiv cs.CL

FlowLM 提出了一种流匹配语言模型,通过高效微调从预训练扩散模型衍生而来,能够实现高质量少步文本生成,其效果可与2000步扩散采样相媲美,而训练轮次更少。

Flow-Map GRPO:基于锚定随机组合的少步流图生成器强化学习

arXiv cs.LG

提出了Flow-Map GRPO,一种用于确定性少步流图生成器的在线RL后训练框架,引入了锚定随机流图组合(ASFMC)以在不改变原始模型参数化的情况下实现随机优化。在基于FLUX的MeanFlow和sCM上的实验表明,在基于奖励的、感知的和任务级别的指标上均有改进。

连续对抗性MeanFlow迁移

arXiv cs.LG

本文提出MeanFlow-Transfer(MF-T)和连续对抗性MeanFlow(CAMF),以统一预训练扩散和流动模型的适配和加速,实现数据有限新领域的高质量少步生成。