重新思考AI训练的视频存储:打破帧间依赖以实现高效随机访问
摘要
北大温鹏飞团队提出 DDRA H.265(codec4AI),通过解耦帧间依赖与稀疏解码,为AI训练数据提供高效随机访问,相比 LeRobot v3 配置减少 58.7% 媒体负载并提升 1.45× 数据加载吞吐,且下游 VLA/WAM/VLM 训练质量相当。
查看缓存全文
缓存时间: 2026/10/28 01:58
论文页面 - 重新思考 AI 训练的视频存储:打破跨帧依赖以实现高效随机访问
来源:https://huggingface.co/papers/2610.33079 🛑 停止使用 LeRobot 的默认视频存储方式。🚀 用 codec4AI 升级你的训练数据基础设施!
🏛️ 来自北京大学高文院士团队。
视频训练需要快速的随机帧访问能力。codec4AI 将稀疏解码和依赖解耦编码结合在一起,让这种访问更加高效。
与论文中评估的 LeRobot v3 配置相比,DDRA H.265 实现了:
📦 媒体负载减少 58.7% ⚡ 数据加载吞吐量提升 1.45 倍 🔬 在相近的重建质量下
🧠 那训练质量如何呢?独立实验表明,在合适的压缩设置下,下游 VLA、WAM 和 VLM 性能相当。
🔧 减少不必要的帧重建。💾 更高效的视频存储。🤖 围绕 AI 训练的访问模式量身打造。
🔓 论文、代码和文档均已公开。欢迎试用、测试,并与我们共建!🤝
📄 论文 (https://arxiv.org/abs/2610.33079) 🌐 项目主页 (https://skywalker-yqz.github.io/codec4AI/) 💻 代码 (https://github.com/kaname-madoka18/codec4AI)
相似文章
Less from More:从稠密参考中强化稀疏视频推理
SAVER 提出了一种稠密到稀疏(dense-to-sparse)的强化后训练框架,利用稠密视频视图作为训练时参考来提升稀疏帧下的视频推理能力,仅用 1,250 个时序定位样本即可在多个视频 QA 基准上匹配或超越使用更多帧的 Qwen3.5 基线。
@jiqizhixin: 如果你的AI能像流媒体编解码器一样“看”视频——只把令牌花在最关键的时刻?介绍……
LLaVA-OneVision-2 引入了编解码流令牌化技术以实现高效的视频理解,在时间与空间基准测试上显著超越 Qwen3-VL-8B。模型、数据和代码均已开源。
冰箱里的大象:面向长视频理解的常量内存帧打包
提出 FramePack-U,一种免训练的常量内存帧打包框架,可将任意长度视频压缩为固定大小的视觉表示,直接插入现成 VLM 推理,在 Long VideoBench、MLVU 和 Video-MME 上显著超越全分辨率基线及现有 token 压缩方法。
重新审视长视频效率:帧、像素与前端延迟的联合分配视角
论文提出 LoHi,一个免训练框架,面向视觉语言模型的长视频理解,联合分配帧数、分辨率与前端解码延迟,将稠密低分辨率视频流与稀疏高分辨率帧相结合,在基线基础上将准确率提升最多 10.6 个百分点,并将小时级视频的解码延迟降低最多 7 倍。
GRACE:面向高效视频生成的生成感知潜空间压缩
GRACE提出两阶段的生成感知潜空间压缩框架,在保持与预训练DiT兼容的前提下提高视频自编码器的压缩率,使Wan2.1-I2V-14B的token数减少8倍、延迟降低11.1倍,同时在VBench上保持与压缩前同等的生成质量。