explorative-modeling

本文认为探索性建模（XM）优化的是“自由”而非生成表达能力，证明更大的候选池会增加未命中概率和自由，实证结果表明基于自由的选择在分布偏移下能提升泛化能力。

本文介绍了探索式建模（Explorative Modeling），这是一种新的生成建模范式，通过探索模型生成与数据之间的候选匹配来分解训练循环。它确立了除参数和数据之外的第三个预训练轴，提高了图像、视频和语言领域的扩展效率，并以更少的推理步骤实现端到端生成建模。