论文页面 - Lab2Sim：将真实世界实验视频转化为交互式虚拟实验

来源：https://huggingface.co/papers/2611.02928

摘要

Lab2Sim 引入了一个将科学实验视频转化为交互式虚拟实验的基准，EduVideo2Code 通过将实验流程编码为状态机，实现可验证的代码生成，从而提升实验器材的还原保真度。

科学实验视频展示了实验的执行过程，但无法为学习者提供直接的交互体验。将其转化为虚拟实验，不仅需要复现观察到的实验器材和状态变化，还需要强制执行每个操作的前置条件。我们提出了 Lab2Sim，这是一个包含 218 个科学实验视频的基准，具有基于证据的规范说明和 11,881 条评分项。为解决这一任务，我们提出了 EduVideo2Code，它以层次化方式提取实验流程，将其编码为显式状态机（https://huggingface.co/papers?q=state%20machines）以指导代码生成，并通过基于执行的验证（https://huggingface.co/papers?q=execution-based%20verification）对生成的页面进行优化。实验表明，现有多模态模型可以轻松生成可运行的页面，但在忠实还原实验器材方面存在困难。EduVideo2Code 在两种骨干模型上均持续提升全部四项评估维度，其中器材保真度提升 24.15 分。

查看 arXiv 页面 (https://arxiv.org/abs/2611.02928) 查看 PDF (https://arxiv.org/pdf/2611.02928) 项目页面 (https://black1948.github.io/lab2sim) GitHub0 (https://github.com/black1948/lab2sim) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2611.02928)

在你的智能体中获取该论文：

hf papers read 2611.02928

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

没有模型关联此论文。

在模型的 README.md 中引用 arxiv.org/abs/2611.02928 即可从本页面链接该论文。

引用该论文的数据集 0

没有数据集关联此论文。

在数据集的 README.md 中引用 arxiv.org/abs/2611.02928 即可从本页面链接该论文。

引用该论文的 Space 0

没有 Space 关联此论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2611.02928 即可从本页面链接该论文。

包含该论文的合集 0

没有合集包含该论文。

将该论文添加到合集即可从本页面链接该论文。