论文页面 - FrameForge：利用视频基础模型的先验实现统一图像生成

来源：https://huggingface.co/papers/2610.36545

摘要

FrameForge 通过在预训练视频模型中引入动态时间专家和中间推理路径来建模变化的条件-目标关系，从而实现自适应的条件图像生成。

统一条件图像生成 (https://huggingface.co/papers?q=conditional%20image%20generation) 要求单一模型在生成遵循文本引导的目标图像的同时，保留视觉输入的不同方面。预训练视频模型 (https://huggingface.co/papers?q=video%20models) 通过编码随时间变化的视觉变换，提供了一个有前景的基础，但现有方法通常将条件和目标分配到固定的时间位置。我们观察到，条件-目标关系在不同生成任务中差异显著，而视频模型 (https://huggingface.co/papers?q=video%20models) 自然地在不同时间尺度上编码视觉变换。这促使我们通过输入自适应的虚拟时间关系来建模条件生成。我们提出 FrameForge，它捕捉了这种关系的两个互补方面。时间专家混合 (Mixture of Temporal Experts) (https://huggingface.co/papers?q=Mixture%20of%20Temporal%20Experts)（MoTE）通过动态选择具有不同虚拟间隔的时间 RoPE (https://huggingface.co/papers?q=temporal%20RoPE) 专家来建模目标与条件之间的距离。时间推理链 (Chain of Temporal Reasoning) (https://huggingface.co/papers?q=Chain%20of%20Temporal%20Reasoning)（CoTR）通过潜在中间状态建模条件如何转换为目标，其中推理瓶颈注意力掩码 (https://huggingface.co/papers?q=reasoning-bottleneck%20attention%20mask) 促进信息通过该路径传播。在 DreamBench、COCO2017 和 GEdit-Bench 上的实验表明，FrameForge 在主体驱动生成 (https://huggingface.co/papers?q=subject-driven%20generation)、Canny 图像生成和图像编辑方面，在所比较的方法中取得了更优的性能。

查看 arXiv 页面 (https://arxiv.org/abs/2610.36545) 查看 PDF (https://arxiv.org/pdf/2610.36545) 项目页面 (https://lyne1.github.io/FrameForge-page/) GitHub0 (https://github.com/Lyne1/FrameForge) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.36545)

在你的 agent 中获取此论文：

hf papers read 2610\.36545

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2610.36545，即可从此页面链接到它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.36545，即可从此页面链接到它。

引用此论文的 Space 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.36545，即可从此页面链接到它。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到它。