论文页面 - DataComp-VLM: 改进的视觉语言模型开放数据集

来源：https://huggingface.co/papers/2606.28551 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

DataComp for VLMs (DCVLM) 建立了一个用于评估视觉语言模型中数据策展策略的综合性基准，证明了在大规模场景下，数据混合而非数据过滤能显著提升模型性能。

构建高性能的视觉语言模型（Vision-Language Models (https://huggingface.co/papers?q=Vision-Language%20Models) ，VLM）需要精心策展大规模训练数据集，然而社区缺乏系统性的基准来评估此类策展策略。我们引入了 DataComp for VLMs (DCVLM)，这是一个用于数据为中心的控制实验以改进 VLM 训练的基准。作为 DCVLM 的一部分，我们收集了 160 个数据集，涵盖四种数据类型——图像-标题对、多模态交错文档、纯文本数据和指令微调数据——组成了一个包含 6T 多模态令牌（multimodal tokens (https://huggingface.co/papers?q=multimodal%20tokens) ）的语料库。DCVLM 允许参与者在 1B-8B 模型规模以及 6.25B-200B 令牌预算下测试策展策略（过滤、混合、格式化、采样）。随后，模型将在精心挑选的包含最多 52 项下游基准（downstream benchmarks (https://huggingface.co/papers?q=downstream%20benchmarks) ）的套件上进行评估，这些基准涵盖 9 个领域。我们在 DCVLM 上进行了大量实验，发现数据混合（data mixing (https://huggingface.co/papers?q=data%20mixing) ），而非过滤，是构建高质量训练数据集的关键：指令密集型混合比标题密集型混合具有更好的可扩展性，且在更大规模下优势更为明显。由此产生的数据集 DCVLM-Baseline 使得使用 200B 训练令牌训练的 8B VLM 在我们 33 个任务的核心套件上达到 63.6% 的准确率。与当前最先进的开放 VLM 训练数据集 FineVision 相比，这代表了 +5.4 个百分点的提升。DCVLM 及所有相关资源将在 https://www.datacomp.ai/dcvlm/ 上公开发布。

查看 arXiv 页面 (https://arxiv.org/abs/2606.28551) 查看 PDF (https://arxiv.org/pdf/2606.28551) 项目页面 (https://www.datacomp.ai/dcvlm/) GitHub23 (https://github.com/mlfoundations/dcvlm) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.28551)

在你的代理中获取此论文：

hf papers read 2606\.28551

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型链接本文

请在模型 README.md 中引用 arxiv.org/abs/2606.28551 以从此页面链接。

引用本文的数据集 0

没有数据集链接本文

请在数据集 README.md 中引用 arxiv.org/abs/2606.28551 以从此页面链接。

引用本文的 Spaces 0

没有 Space 链接本文

请在 Space README.md 中引用 arxiv.org/abs/2606.28551 以从此页面链接。

包含本文的收藏 0

没有收藏包含本文

请将本文添加到一个收藏 (https://huggingface.co/new-collection) 中以从此页面链接。