重新思考AI训练的视频存储:打破帧间依赖以实现高效随机访问

Hugging Face Daily Papers 论文

摘要

北大温鹏飞团队提出 DDRA H.265(codec4AI),通过解耦帧间依赖与稀疏解码,为AI训练数据提供高效随机访问,相比 LeRobot v3 配置减少 58.7% 媒体负载并提升 1.45× 数据加载吞吐,且下游 VLA/WAM/VLM 训练质量相当。

大规模AI训练日益依赖海量视频数据集,并采用随机时间采样模式。然而,现有的视频存储范式是为顺序播放而优化的,采用复杂的帧间参考结构以最大化压缩效率。当应用于AI训练的随机采样负载时,这些范式面临严重的解码效率瓶颈。独立JPEG帧和短图像组(GOP)等变通方案虽然减少了解码工作量,但代价是更大的存储和传输开销。本文识别出两种解码放大的来源:无关帧的顺序重建,以及采样目标所需参考链的重建。我们通过协同设计解码调度与视频参考结构来解决这两个问题。依赖感知的稀疏解码仅重建请求的帧及其所需的参考,跳过无关的重建,且无需对源视频进行转码。可选的离线依赖解耦随机访问(DDRA)编码进一步减少参考重建,将每个内部帧限制为两个有界的帧内编码锚点。通过稀疏解码与 DDRA 的结合,在保留帧间预测的同时,将每个请求目标的重建限制为最多三帧,且不受帧内周期影响。在大规模机器人语料库上的实验表明,在重建质量相当的情况下,本方法达到 LeRobot v3 加载吞吐的 1.45 倍,同时媒体负载减少 58.7%。
查看原文
查看缓存全文

缓存时间: 2026/10/28 01:58

论文页面 - 重新思考 AI 训练的视频存储:打破跨帧依赖以实现高效随机访问

来源:https://huggingface.co/papers/2610.33079 🛑 停止使用 LeRobot 的默认视频存储方式。🚀 用 codec4AI 升级你的训练数据基础设施!

🏛️ 来自北京大学高文院士团队。

视频训练需要快速的随机帧访问能力。codec4AI 将稀疏解码和依赖解耦编码结合在一起,让这种访问更加高效。

与论文中评估的 LeRobot v3 配置相比,DDRA H.265 实现了:

📦 媒体负载减少 58.7% ⚡ 数据加载吞吐量提升 1.45 倍 🔬 在相近的重建质量下

🧠 那训练质量如何呢?独立实验表明,在合适的压缩设置下,下游 VLA、WAM 和 VLM 性能相当。

🔧 减少不必要的帧重建。💾 更高效的视频存储。🤖 围绕 AI 训练的访问模式量身打造。

🔓 论文、代码和文档均已公开。欢迎试用、测试,并与我们共建!🤝

📄 论文 (https://arxiv.org/abs/2610.33079) 🌐 项目主页 (https://skywalker-yqz.github.io/codec4AI/) 💻 代码 (https://github.com/kaname-madoka18/codec4AI)

相似文章

Less from More:从稠密参考中强化稀疏视频推理

Hugging Face Daily Papers

SAVER 提出了一种稠密到稀疏(dense-to-sparse)的强化后训练框架,利用稠密视频视图作为训练时参考来提升稀疏帧下的视频推理能力,仅用 1,250 个时序定位样本即可在多个视频 QA 基准上匹配或超越使用更多帧的 Qwen3.5 基线。

冰箱里的大象:面向长视频理解的常量内存帧打包

Hugging Face Daily Papers

提出 FramePack-U,一种免训练的常量内存帧打包框架,可将任意长度视频压缩为固定大小的视觉表示,直接插入现成 VLM 推理,在 Long VideoBench、MLVU 和 Video-MME 上显著超越全分辨率基线及现有 token 压缩方法。

重新审视长视频效率:帧、像素与前端延迟的联合分配视角

Hugging Face Daily Papers

论文提出 LoHi,一个免训练框架,面向视觉语言模型的长视频理解,联合分配帧数、分辨率与前端解码延迟,将稠密低分辨率视频流与稀疏高分辨率帧相结合,在基线基础上将准确率提升最多 10.6 个百分点,并将小时级视频的解码延迟降低最多 7 倍。

GRACE:面向高效视频生成的生成感知潜空间压缩

Hugging Face Daily Papers

GRACE提出两阶段的生成感知潜空间压缩框架,在保持与预训练DiT兼容的前提下提高视频自编码器的压缩率,使Wan2.1-I2V-14B的token数减少8倍、延迟降低11.1倍,同时在VBench上保持与压缩前同等的生成质量。