论文页面 - 论规模的局限：视觉-语言模型中的逆向缩放

来源：https://huggingface.co/papers/2610.27360

摘要

视觉-语言模型在特定子任务上表现出逆向缩放现象，即在空间推理和 STEM 问题等领域，更大版本的模型反而表现不如较小的模型，这表明模型选择应因任务而异。

缩放定律（Scaling laws）表明，增大模型规模、训练数据量和计算量通常会带来单调的性能提升。虽然这在总体层面往往成立，但我们系统性地证实：视觉-语言模型（https://huggingface.co/papers?q=vision-language%20models)（VLMs）在子任务层面会表现出逆向缩放（https://huggingface.co/papers?q=inverse%20scaling）——在同一模型族中，较大的模型在特定问题类别上反而表现更差。我们对来自四个不同模型族的 19 个模型在八个多模态基准（https://huggingface.co/papers?q=multimodal%20benchmarks）（九个评测划分）上进行了评估，每个模型回答 29,386 个问题，共计 558,334 次模型-问题评测。通过在每个模型族的所有模型对之间进行逐题成对分析（https://huggingface.co/papers?q=per-question%20pairwise%20analysis），我们识别出 375 个表现出逆向缩放（https://huggingface.co/papers?q=inverse%20scaling）的子任务-模型对组合，涉及 4,342 条独立查询——在这些查询中较小的模型回答正确而较大的模型回答错误，并且我们发现这些模式在独立开发的架构之间具有可复现性。我们识别出 13 个子任务-数据集对在多个模型族中均表现出逆向缩放（https://huggingface.co/papers?q=inverse%20scaling），与该现象由任务驱动而非特定模型导致这一结论一致。我们的研究中受影响最严重的领域包括多图空间推理（https://huggingface.co/papers?q=multi-image%20spatial%20reasoning）、视觉感知（https://huggingface.co/papers?q=visual%20perception）和大学水平的 STEM 知识（https://huggingface.co/papers?q=STEM%20knowledge），在多个案例中准确率差距超过 20 个百分点，而图表理解（https://huggingface.co/papers?q=diagram%20understanding）则表现出相对较强的抗性。这些发现挑战了“增大模型规模能均匀提升多模态能力“这一假设，并表明模型选择应具备任务感知性。

查看 arXiv 页面 (https://arxiv.org/abs/2610.27360)　查看 PDF (https://arxiv.org/pdf/2610.27360)　GitHub 0 (https://github.com/saxenarohit/vlm_inverse_scaling)　添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.27360)

引用此论文的模型 0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2610.27360 即可从本页面链接。

引用此论文的数据集 0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.27360 即可从本页面链接。

引用此论文的 Spaces 0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2610.27360 即可从本页面链接。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从本页面链接。