VEDJE：面向可扩展视频-文本检索的视频高效判别式联合编码器

Hugging Face Daily Papers 论文
video-text-retrieval multimodal-embedding efficiency representation-compression vision-language

摘要

VEDJE是一种面向可扩展视频-文本检索的视频高效判别式联合编码器，能够将每个视频压缩为仅48 KiB的时序结构化缓存，并利用轻量级的3300万参数联合编码器，在MSR-VTT上达到59.8的R@1，其在线参数量比LamRA少约49倍。

在寻找目标视频时，往往需要区分相似场景中发生的不同事件。联合匹配能够提升检索效果，但针对每个查询都处理丰富的视频表示代价高昂。VEDJE在采样帧内压缩特征，同时在可复用缓存中保持各表示相互独立。特征变化预测提供了辅助训练信号，能够在不增加查询时计算开销的前提下，提升基于压缩缓存的检索性能。在MSR-VTT、MSVD、DiDeMo和ActivityNet数据集上，VEDJE在双向检索中均超越了同级别的第一阶段检索器的R@1。在MSR-VTT上，配合微调后的VideoCLIP-XL第一阶段，VEDJE达到了59.8的文本到视频R@1。在VideoPrism配置中，将每个视频的缓存大小缩小四倍至12 KiB，文本到视频召回率仅下降0.2个百分点。这些结果表明，精确的视频搜索可以基于紧凑的证据运行——只需编码一次，即可在后续查询到来时反复复用。
查看原文
查看缓存全文

缓存时间: 2026/10/14 06:51

论文页面 - VEDJE：面向可扩展视频-文本检索的视频高效判别式联合编码器

Source: https://huggingface.co/papers/2610.11850

🚀能否用远小于 7.6B 参数的视频-语言模型的检索系统，达到同等精度？

我们提出VEDJE：一种通过紧凑、可复用的视频表示实现高效视频-文本检索的方法。

VEDJE 不再反复处理完整的视频特征，而是将每个视频一次性压缩为一个极小的、具有时间结构的缓存。随后，一个轻量级的 3300 万参数联合编码器将查询与缓存中的候选进行匹配。

实验结果： 📈在 MSR-VTT 上达到59.8 R@1，与 LamRA 持平，但在线参数量减少约 49 倍。📦每个视频仅 48 KiB，比原始视觉特征缩小 128.5 倍。⚡在 MSR-VTT 上比同等规模的第一阶段检索器提升**+3.6 至 +7.2 R@1**。

一个有趣的发现是：在压缩过程中保留时间结构至关重要。我们还引入了一个特征变化预测目标函数，能在不增加推理开销的情况下提升检索性能。

🔗 交互式项目页面：https://gabrieleserussi.github.io/vedje/

💻 开源实现：https://github.com/GabrieleSerussi/vedje

▶️ Google Colab：https://colab.research.google.com/github/GabrieleSerussi/vedje/blob/main/colab/vedje_tour.ipynb

我们很好奇：紧凑、可复用的视频表示能否成为大规模多模态搜索的实用基础？

相似文章

V-RAE：重新思考视频潜在空间用于生成

Hugging Face Daily Papers

V-RAE提出了一种视频表示自编码器，它从冻结的视觉表示中构建语义组织的潜在表示，以提升视频生成质量、收敛速度和预测建模。

LightVAE：迈向紧凑高效的视频自编码器

Hugging Face Daily Papers

LightVAE 提出一种视频自编码器压缩框架，通过对因果 Conv3D 层的精确重参数化，将空间响应与时间修正分离，并对时间修正施加低秩压缩，从而在保持生成质量的同时显著加速视频 VAE 解码（在 WanVAE 上最高达 2.24 倍吞吐提升）。

KeyRec：用于流式和长视频理解的有界视觉记忆

Hugging Face Daily Papers

KeyRec 是一个免训练框架，用于在视觉语言模型中构建有界视觉记忆。它通过近期观测缓存（recent-observation cache）与结构化事件库（event bank）相结合，将长视频/流式视频的上下文压缩至仅约 10% 的稠密视觉 token 规模，并在 15 项流式与长视频基准测试设置中的 13 项上取得了最优结果。