LabInstruct:面向实验室操作流程的情境化教学视频生成基准评测

Hugging Face Daily Papers 论文

摘要

LabInstruct 提出了一个针对真实实验室场景的指令性视频生成基准,涵盖5个学科的204项任务,并评测了8个前沿图生视频模型,发现视觉上合理的生成结果往往在程序步骤上并不正确,揭示了视觉真实感与实验指导可靠性之间的显著差距。

自驱动实验室(SDL)旨在实现从科学决策到物理执行的完整实验闭环自动化。理想情况下,AI 生成的计划可以由机器人系统直接执行,但在复杂、开放的真实实验室环境中,可靠的自动化仍然难以实现,因为实验通常涉及精细操作、长时程流程,以及不同任务和实验配置之间的显著差异。因此,人类仍是连接 AI 生成计划与物理实验的重要执行接口,这使得清晰、有效的面向人类的实验指导成为必要。由于实验室操作流程本质上具有视觉性、空间性和动态性,视频尤其适合传达仪器装置配置、操作动作、时序依赖关系和状态变化。视频生成技术的最新进展使得直接根据初始工作区图像和自然语言指令合成实验演示成为可能。然而,此类模型能否可靠地传达真实实验室操作流程,尚未得到系统研究。我们提出 LabInstruct,这是一个用于真实实验室情境下指导性视频生成的基准。LabInstruct 涵盖 5 个科学学科的 204 项任务,包含真实的参考执行记录,以及对物体、动作、接触和状态转换的结构化标注。通过评估 8 个前沿图像到视频生成模型,我们发现,视觉上看似合理的生成结果往往在操作流程上仍然存在错误,揭示了视觉真实感与实验指导所要求的可靠性之间的显著差距。
查看原文
查看缓存全文

缓存时间: 2026/10/15 14:58

论文页面 - LabInstruct:面向实验室操作流程的情境化教学视频生成基准评测

来源:https://huggingface.co/papers/2610.14020

摘要

LabInstruct 评估了用于真实实验室任务的 AI 生成教学视频,并揭示了视觉上的合理性并不能确保操作流程的正确性。

自主实验室(SDL)旨在实现从科学决策到实际执行的整个实验闭环的自动化。理想情况下,AI 生成的计划可以直接由机器人系统执行,但在复杂、开放的实验室环境中,实现可靠的自动化仍然十分困难,因为实验往往涉及精细操作、长时程流程,以及不同任务和实验配置之间的显著差异。因此,人类仍然是连接 AI 生成计划与实体实验的重要执行接口,这也带来了对清晰、有效且面向人类的实验指导的需求。由于实验室操作流程本质上具有视觉性、空间性和动态性,视频特别适合传达仪器配置、操作动作、时间依赖关系和状态变化。视频生成领域的最新进展,使得直接根据初始工作区图像和自然语言指令合成实验演示成为可能。然而,此类模型能否可靠地传达真实实验室操作流程,尚未得到系统研究。我们推出了 LabInstruct,这是一个面向真实实验室情境化教学 (https://huggingface.co/papers?q=situated%20instruction)视频生成的基准。LabInstruct 涵盖 5 个科学学科的 204 项任务,包含真实的参考执行过程,以及对物体、动作、接触和状态转换 (https://huggingface.co/papers?q=state%20transitions)的结构化标注。通过评估 8 个前沿图像到视频模型 (https://huggingface.co/papers?q=image-to-video%20models),我们发现,视觉上看似合理的生成结果在操作流程上往往仍然存在错误,揭示了视觉真实感与实验教学所需可靠性之间的显著差距。

查看 arXiv 页面 (https://arxiv.org/abs/2610.14020)查看 PDF (https://arxiv.org/pdf/2610.14020)项目页面 (https://csu-jpg.github.io/LabInstruct.github.io/)GitHub5 (https://github.com/CSU-JPG/LabInstruct)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.14020)

在你的智能体中获取这篇论文:

hf papers read 2610\.14020

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

暂无模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.14020,即可从此页面链接到该模型。

引用这篇论文的数据集1

CSU-JPG/LabInstruct 预览版• 更新于1 天前 • 247 (https://huggingface.co/datasets/CSU-JPG/LabInstruct)

引用这篇论文的 Spaces0

暂无 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.14020,即可从此页面链接到该 Space。

包含这篇论文的合集0

暂无合集包含这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection),即可从此页面链接到该合集。

相似文章

VIS-Ground:具有上下文锚定的视频交互式叙事

Hugging Face Daily Papers

VIS-Ground 提出将异构输入上下文转化为可执行约束模型的上下文接地框架,通过结构化上下文抽象、生成约束归纳和约束化视频生成三个阶段,在三个视频生成骨干上平均取得 10.3 分的绝对提升。