论文页面 - FID抽奖：量化生成模型评估中的隐藏随机性

来源：https://huggingface.co/papers/2606.20536

摘要

针对不同训练和采样种子的FID方差分析揭示了图像生成评估中显著的可重复性问题：重新训练造成的波动远大于重新采样。因此建议采用包含误差棒和最优引导调优的更新评估协议。

Frechet Inception Distance（FID）是图像生成领域事实上的评判标准，然而大多数论文仅报告单一训练模型、单一采样种子得出的单一数值。如果我们重新训练模型，或仅从模型中重新采样，该数值的可重复性如何？本文将FID视为训练种子和生成种子二维平面上的随机变量，直接在数百个基于类别条件ImageNet 256x256训练的SiT网络上测量其方差。我们报告了以下令人惊讶的发现：(a) 使用相同的训练配方但更换种子重新训练模型，其在Inception特征空间中的FID波动幅度是从固定网络中重新采样波动的3.2倍。(b) 这一差距由三个因素驱动：随机初始化、数据排序以及流匹配损失的每步高斯噪声。(c) 增加计算量或模型规模几乎无法缩小差距，FID的变异系数（CoV）保持在1-2%的范围内。(d) 每个单元的免分类器引导调优可将差距减半，但会重新排序哪些种子效果最佳；幸运的训练种子达到相同FID所需的计算量比不幸的种子少达2倍。基于这些发现，我们推荐一种新的FID评估协议：在每单元最优引导下进行评估，将任何小于经验测量值约1.3% CoV的FID差距视为不确定，并报告多个训练种子的误差棒，而非单一的FID数值。

查看arXiv页面（https://arxiv.org/abs/2606.20536）查看PDF（https://arxiv.org/pdf/2606.20536）项目页面（https://kyutai.org/fid-lottery/）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.20536）

在您的智能体中获取本论文：

hf papers read 2606.20536

没有最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接本论文

在模型 README.md 中引用 arxiv.org/abs/2606.20536 可将其链接至此页面。

引用此论文的数据集0

没有数据集链接本论文

在数据集 README.md 中引用 arxiv.org/abs/2606.20536 可将其链接至此页面。

引用此论文的Spaces0

没有Space链接本论文

在Space README.md 中引用 arxiv.org/abs/2606.20536 可将其链接至此页面。

包含此论文的收藏集0

没有收藏集包含本论文

将本论文添加到收藏集（https://huggingface.co/new-collection）以将其链接至此页面。