CineRecon:面向智能体电影级重建的前沿模型基准测试

Hugging Face Daily Papers 论文

摘要

CineRecon 引入了一个包含50个参考视频和360个带标注评估片段的基准,用于测试前沿模型从视频重建可编辑动态3D场景的能力,从相机一致性、静态一致性和动态一致性三个维度评估了12个模型,发现三个维度均存在不足。

将参考视频重建为可编辑的动态3D场景,是实现电影制作中可控视频生成的一条重要路径:这些场景提供可修改、可渲染的视觉代理,能够对场景布局、主体动作和相机行为进行显式控制。为了评估智能体从动态参考视频重建可编辑动态3D场景的能力,我们提出了 CineRecon 基准,包含50个参考视频和360个带标注的评估片段。参考视频涵盖电影、实拍影像和游戏。给定一段完整视频,智能体利用工具构建、驱动动画、渲染并优化其重建结果。我们在三种表示设定下评估该任务:代理级(Proxy)、简化级(Simplified)和精细级(Detailed)。这三种设定逐步提高几何和外观的要求,同时保持对空间关系、相机行为和主体动态的相同要求。这种设计旨在检验智能体在无需精细外观的情况下能否复现视频中的事件,以及随着表示要求提高性能如何变化。在评估方面,我们构建了检查清单,将可观测的属性和事件与特定实体和时间点关联。视觉-语言评审器对时间戳对齐的参考帧和渲染帧进行跨11个类别的比较,归入相机一致性、静态一致性和动态一致性三个维度。我们使用各模型对应的智能体框架对12个模型进行了评估,发现三个维度均存在不足。即使在代理级(Proxy)设定下,主体运动和交互仍然难以复现。
查看原文
查看缓存全文

缓存时间: 2026/10/14 06:53

论文页面 - CineRecon:面向 Agentic 电影级重建的前沿模型基准测试

来源:https://huggingface.co/papers/2610.16577

摘要

将参考视频重建为可编辑的动态 3D 场景,是实现影视制作中可控视频生成的一条重要路径:这些场景提供可修改、可渲染的视觉代理,使用户能够对场景布局、主体动作和摄像机行为进行显式控制。为了评估智能体从动态参考视频中重建可编辑动态 3D 场景的能力,我们提出了 CineRecon,一个包含 50 个参考视频和 360 个标注评估片段的基准。参考视频涵盖电影、实拍素材和游戏画面。给定一段完整视频,智能体使用工具进行构建、动画生成、渲染和精化重建。我们在三种表示设定下评估该任务:Proxy(代理)、Simplified(简化) 和 Detailed(精细)。这些设定逐步提高几何和外观要求,同时保持对空间关系、摄像机行为和主体动态的要求不变。这种设计旨在检验智能体在不需要精细外观的情况下能否复现视频中的事件,以及随着表示要求提高,性能如何变化。在评估中,我们构建了检查清单,将可观察的属性和事件与特定实体和时间戳关联起来。一个视觉-语言评审模型对时间戳对齐的参考帧和渲染帧进行跨 11 个类别的比较,这些类别归入摄像机、静态一致性和动态一致性三个维度。我们使用对应的智能体框架评估了 12 个模型,发现它们在所有三个维度上均存在失败。即使在 Proxy 设定下,主体运动和交互的复现仍然十分困难。

查看 arXiv 页面 (https://arxiv.org/abs/2610.16577) · 查看 PDF (https://arxiv.org/pdf/2610.16577) · 项目页面 (https://cinerecon.github.io/) · GitHub (https://github.com/Unc1eW4ng/CineRecon) · 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.16577)

在您的智能体中获取本文:

hf papers read 2610.16577

没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型:0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.16577 即可从此页面关联。

引用本文的数据集:0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.16577 即可从此页面关联。

引用本文的 Spaces:0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.16577 即可从此页面关联。

收录本文的收藏集:0

暂无收藏集收录本文

将本文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面关联。

相似文章

4DCodeBench:面向动态场景逆图形学的智能体基准测试

Hugging Face Daily Papers

4DCodeBench 提出了一个通过代码生成实现 4D 逆图形学的基准测试,其中智能体需要将视频中的动态场景重建为可执行的图形程序。前沿模型在静态重建方面表现强劲,但在可靠捕获形变、流体流动、断裂等复杂动态方面仍面临挑战。

CRONOS:评估视频模型中反事实物理一致性的基准

Hugging Face Daily Papers

CRONOS是一个基准测试,通过在保持物理事件类型不变的情况下对视角、场景、物体类别和外观进行干预,来评估视频预测模型的反事实物理一致性。它揭示了当前视频生成器的重大缺陷。

FilmBench:一个电影级视频生成基准

Hugging Face Daily Papers

FilmBench是一个面向电影级视频生成的新基准,其提示源自跨越20种类型的获奖影片,并采用包含35+子指标的三级电影级分类体系。它包含一个开源自动化评估代理(FilmOps),该代理以高相关性复现人工模型排名,揭示了动态美学和多镜头表现方面的显著差距,相较于以往的网页风格基准。