LabInstruct:面向实验室操作流程的情境化教学视频生成基准评测
摘要
LabInstruct 提出了一个针对真实实验室场景的指令性视频生成基准,涵盖5个学科的204项任务,并评测了8个前沿图生视频模型,发现视觉上合理的生成结果往往在程序步骤上并不正确,揭示了视觉真实感与实验指导可靠性之间的显著差距。
查看缓存全文
缓存时间: 2026/10/15 14:58
论文页面 - LabInstruct:面向实验室操作流程的情境化教学视频生成基准评测
来源:https://huggingface.co/papers/2610.14020
摘要
LabInstruct 评估了用于真实实验室任务的 AI 生成教学视频,并揭示了视觉上的合理性并不能确保操作流程的正确性。
自主实验室(SDL)旨在实现从科学决策到实际执行的整个实验闭环的自动化。理想情况下,AI 生成的计划可以直接由机器人系统执行,但在复杂、开放的实验室环境中,实现可靠的自动化仍然十分困难,因为实验往往涉及精细操作、长时程流程,以及不同任务和实验配置之间的显著差异。因此,人类仍然是连接 AI 生成计划与实体实验的重要执行接口,这也带来了对清晰、有效且面向人类的实验指导的需求。由于实验室操作流程本质上具有视觉性、空间性和动态性,视频特别适合传达仪器配置、操作动作、时间依赖关系和状态变化。视频生成领域的最新进展,使得直接根据初始工作区图像和自然语言指令合成实验演示成为可能。然而,此类模型能否可靠地传达真实实验室操作流程,尚未得到系统研究。我们推出了 LabInstruct,这是一个面向真实实验室情境化教学 (https://huggingface.co/papers?q=situated%20instruction)视频生成的基准。LabInstruct 涵盖 5 个科学学科的 204 项任务,包含真实的参考执行过程,以及对物体、动作、接触和状态转换 (https://huggingface.co/papers?q=state%20transitions)的结构化标注。通过评估 8 个前沿图像到视频模型 (https://huggingface.co/papers?q=image-to-video%20models),我们发现,视觉上看似合理的生成结果在操作流程上往往仍然存在错误,揭示了视觉真实感与实验教学所需可靠性之间的显著差距。
查看 arXiv 页面 (https://arxiv.org/abs/2610.14020)查看 PDF (https://arxiv.org/pdf/2610.14020)项目页面 (https://csu-jpg.github.io/LabInstruct.github.io/)GitHub5 (https://github.com/CSU-JPG/LabInstruct)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.14020)
在你的智能体中获取这篇论文:
hf papers read 2610\.14020
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用这篇论文的模型0
暂无模型链接到这篇论文
在模型的 README.md 中引用 arxiv.org/abs/2610.14020,即可从此页面链接到该模型。
引用这篇论文的数据集1
CSU-JPG/LabInstruct 预览版• 更新于1 天前 • 247 (https://huggingface.co/datasets/CSU-JPG/LabInstruct)
引用这篇论文的 Spaces0
暂无 Space 链接到这篇论文
在 Space 的 README.md 中引用 arxiv.org/abs/2610.14020,即可从此页面链接到该 Space。
包含这篇论文的合集0
暂无合集包含这篇论文
将这篇论文添加到合集 (https://huggingface.co/new-collection),即可从此页面链接到该合集。
相似文章
VGI-BENCH: 探测视频生成模型中的视觉智能
VGI-BENCH 通过27项任务评估视频生成模型中的视觉推理,揭示当前系统在可靠性和自我纠正方面的局限性。
Sci-VBench:评估科学领域中知识与推理密集型视频生成
介绍了Sci-VBench,这是一个用于评估跨科学领域知识和推理密集型视频生成的基准,发现视觉真实性尚未转化为可靠的科学和因果正确性。
LessonBench-V1:评估AI课程生成代理的基准数据集
LessonBench-V1是一个新的基准数据集,将647个人类编写的STEM课程与逆向工程的教学计划配对,能够系统评估AI课程生成代理。
VIS-Ground:具有上下文锚定的视频交互式叙事
VIS-Ground 提出将异构输入上下文转化为可执行约束模型的上下文接地框架,通过结构化上下文抽象、生成约束归纳和约束化视频生成三个阶段,在三个视频生成骨干上平均取得 10.3 分的绝对提升。
VGenST-Bench:通过主动视频合成进行时空推理的基准测试
VGenST-Bench是一个基准测试,利用生成模型主动合成受控的时空推理场景,配备多智能体流水线和人工质量控制,用于评估多模态大语言模型。