论文页面 - Moving Alphabet: A Controlled Study of Training Data for Text-to-Video Generation

来源：https://huggingface.co/papers/2607.18789

摘要

过去五年间，文本到视频生成技术通过扩展模型规模、训练数据和计算量取得了显著进步。与模型架构不同，训练数据往往探索不足。真实世界的数据整理复杂且非平凡，涉及从原始视频中裁剪片段和生成字幕，以创建用于学习文本到视频映射的视频-文本对。我们研究了数据分布和字幕质量对文本到视频模型的影响。为了进行可控实验，我们引入了Moving Alphabet，一个程序化测试平台，在黑色背景上渲染不同字体、颜色、大小和位置的字母，并以不同方向和速度移动。这种设计允许通过破坏真实元数据来精确控制数据分布和字幕质量。我们的实验得出三个发现：a) 视频内容和时长的多样性与平衡分布对泛化能力至关重要；b) 字幕质量显著影响模型性能和训练效率，表明文本到视频模型受限于视频理解能力；c) 无分类器引导和在高质量数据上微调可以部分恢复因字幕受损而训练的模型，但无法完全弥补预训练数据的不足。我们相信这些见解可以为大规模文本到视频模型的开发提供参考，并呼吁对预训练数据的科学性给予更多关注。

查看 arXiv 页面 (https://arxiv.org/abs/2607.18789) 查看 PDF (https://arxiv.org/pdf/2607.18789) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.18789)

在你的代理中获取本篇论文：

hf papers read 2607.18789

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本篇论文的模型0

没有模型链接到本篇论文

请在模型 README.md 中引用 arxiv.org/abs/2607.18789 以从此页面链接。

引用本篇论文的数据集0

没有数据集链接到本篇论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.18789 以从此页面链接。

引用本篇论文的空间0

没有空间链接到本篇论文

请在空间 README.md 中引用 arxiv.org/abs/2607.18789 以从此页面链接。

包含本篇论文的收藏0

没有收藏包含本篇论文

请添加本篇论文到收藏 (https://huggingface.co/new-collection) 以从此页面链接。