论文页面 - Flat-Pack Bench: 通过家具组装评估大型视觉-语言模型的时空理解能力

来源：https://huggingface.co/papers/2605.21625

摘要

大型视觉-语言模型在细粒度时空推理与追踪能力方面存在显著局限，这一结论源于一种新的家具组装基准测试的评估。

大型视觉-语言模型（Large Vision-Language Models，简称LVLMs）的出现显著推动了视频理解（https://huggingface.co/papers?q=video%20understanding）能力的发展。然而，现有基准主要侧重于粗粒度任务，如动作分割（https://huggingface.co/papers?q=action%20segmentation）、分类（https://huggingface.co/papers?q=classification）、描述（https://huggingface.co/papers?q=captioning）和检索（https://huggingface.co/papers?q=retrieval）。此外，这些基准通常依赖易于通过语言识别的实体，如家用物品、动物、人类主体等，从而限制了其在复杂真实视频场景中的适用性。但许多应用，如家具组装、烹饪等，需要对视频进行逐步的细粒度时空理解，而当前基准尚未对此进行充分评估。为弥补这一不足，我们提出了Flat-Pack Bench，一个以家具组装任务为核心的新型基准。该基准通过多项选择题结合视觉提示（突出显示相关部分作为细粒度问题的参考），评估LVLMs在精细任务上的表现，包括组装动作的时间排序（https://huggingface.co/papers?q=temporal%20ordering）、组装状态的时间定位（https://huggingface.co/papers?q=temporal%20localization）、零件配合（https://huggingface.co/papers?q=part%20mating）理解以及追踪（https://huggingface.co/papers?q=tracking）。实验表明，最先进的LVLMs在细粒度时空推理（https://huggingface.co/papers?q=spatio-temporal%20reasoning）方面表现困难，凸显了其在有效利用视频时间信息、有限的追踪（https://huggingface.co/papers?q=tracking）能力以及对物理接触等空间交互理解方面的不足。

查看arXiv页面（https://arxiv.org/abs/2605.21625） 查看PDF（https://arxiv.org/pdf/2605.21625） 项目页面（https://flat-pack-bench.github.io/） GitHub（https://github.com/justachetan/flat-pack-bench） 添加至收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.21625）

在您的代理中获取这篇论文：

hf papers read 2605\.21625

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2605.21625，以便从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2605.21625，以便从此页面链接。

引用此论文的Space0

没有Space链接此论文

请在Space README.md 中引用 arxiv.org/abs/2605.21625，以便从此页面链接。

包含此论文的收藏1