论文页面 - Video2Skill：从流式经验到可复用的具身技能

来源：https://huggingface.co/papers/2609.36691

摘要

操作行为在不同物体和场景中千差万别，但它们共享一小套可复用的技能，借助这些技能进行规划有助于具身智能体泛化到新任务。然而，智能体只能用它已掌握的技能进行规划。从观测到的经验中恢复技能——即规划的逆过程——能够随时间积累这些知识，并为训练未来的智能体提供技能数据。视觉-语言模型（VLMs）能够很好地描述单个操作事件，但它们能否将一连串事件组织成可复用的技能？我们将这一问题表述为流式具身技能发现（Streaming Embodied Skill Discovery，SESD）：一个模型依次观看视频，并维护一个持续存在的技能库，该技能库会塑造它后续的决策。为了系统地衡量这一能力，我们提出了 Video2Skill，一个涵盖机器人桌面操作和人类厨房活动的基准，测试三项核心能力：(i) 在时间上定位操作事件，(ii) 将属于同一种变换的事件归为一组，(iii) 决定何时复用已有技能或创建新技能。在 19 个开源 VLM 上，许多模型分组事件的准确率接近随机水平，且规模扩大并未带来一致的提升。它们的错误取决于感知过程与技能库更新如何耦合：联合模型会把不同的变换合并到同一个技能中，而根据文本描述更新技能库的模型则会重复创建反复出现的技能。监督微调，包括我们提出的反事实技能库状态重平衡方法（CLaRe），提升了分组能力，但暴露出更深层的瓶颈：训练后的模型会巩固已熟悉的技能，却几乎不会扩展技能库。它们的技能库停滞在参考规模的一半以下，训练中未见过的变换虽然能在时间上被定位，却几乎从不会被赋予新技能。因此，识别出何时已有技能不足，便成为核心挑战。

查看 arXiv 页面 (https://arxiv.org/abs/2609.36691)　查看 PDF (https://arxiv.org/pdf/2609.36691)　项目主页 (https://andyzworks.github.io/video2skill/)　添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.36691)

将此论文加入你的智能体：

hf papers read 2609.36691

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2609.36691 即可从本页面链接它。

引用此论文的数据集 1

Sterzhang/video2skill-bench 查看器 • 更新于 5 天前 • 172 • 130 (https://huggingface.co/datasets/Sterzhang/video2skill-bench)

引用此论文的 Space 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2609.36691 即可从本页面链接它。

收录此论文的集合 0

没有集合收录此论文

将此论文添加到集合 (https://huggingface.co/new-collection) 即可从本页面链接它。