论文页面 - RoboJev：用于机器人任务成功检测的开放视觉语言判别模型

来源：https://huggingface.co/papers/2610.33718

摘要

RoboJev-27B 是一个开放权重的视觉语言模型，通过 LoRA 微调、校准的词元读出和针对数据来源的正则化，根据视频帧预测机器人操作是否成功，在不同实验室和机器人之间实现了较高的准确率和泛化能力.

许多机器人操作视频并未说明任务是否成功完成. RoboJev-27B 是一个开放权重的视觉语言模型 (https://huggingface.co/papers?q=vision-language%20model)，它接收任务指令、一次操作尝试的 10 帧图像，以及(如果有的话)辅助摄像头拍摄的最终帧，并预测机器人是否完成了任务. RoboJev-27B 是 JEV-27B-VL 的一个变体，使用 52,598 条回合记录，仅对语言模型训练秩为 32 的 LoRA 适配器 (https://huggingface.co/papers?q=LoRA%20adapter)(保持视觉编码器冻结). 它还使用了针对数据来源的 KL 惩罚项 (https://huggingface.co/papers?q=KL%20penalty)，该惩罚项仅应用于研究数据，使模型在这些来源上的预测更接近原始模型. 它采用经过校准的双词元读出 (https://huggingface.co/papers?q=calibrated%20two-token%20readout)，通过单次前向传播输出成功/失败的概率. 在同一机器人型号 (SO-101) 的 268 个留出回合上，RoboJev-27B 的平衡准确率 (https://huggingface.co/papers?q=balanced%20accuracy) 达到 95.2%，AUROC (https://huggingface.co/papers?q=AUROC) 达到 0.993. 它还能泛化到未见过的实验室/机器人采集的回合(459 个回合上的 AUROC (https://huggingface.co/papers?q=AUROC) = 0.890)，以及社区采集且标注清晰的回合(135 个回合上的准确率 = 93.3%)；在使用相同输入时，基础模型在未见过的实验室/机器人子集上的 AUROC (https://huggingface.co/papers?q=AUROC) = 0.900. 在单张 H100 上，每个回合的推理耗时为 0.26 秒(中位数，串行处理)；按每 GPU 小时 2.69 的价格计算，每 1,000 次成功预测的成本约为 \0.19(不包括媒体处理和服务部署成本). RoboJev-27B 与其推理代码一同发布，并提供透明的评估结果：公开了按 29 个模型/协议条目组织的 20,628 条预测，以方便浏览并支持可复现的成功检测基准评测. 我们还将其与基于 API 的强大前沿视觉语言模型进行比较，这些模型接收的输入帧更少(仅来自主摄像头的 4 张图像)；请注意，由于 RoboJev-27B 在推理时获得的帧数更多，这一比较并非严格在同等条件下进行.

查看 arXiv 页面 (https://arxiv.org/abs/2610.33718)查看 PDF (https://arxiv.org/pdf/2610.33718)项目页面 (https://robo-jev.com/)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.33718)

引用此论文的模型0

暂无模型链接到此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.33718，即可在此页面显示该模型的链接.

引用此论文的数据集0

暂无数据集链接到此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.33718，即可在此页面显示该数据集的链接.

引用此论文的 Space0

暂无 Space 链接到此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.33718，即可在此页面显示该 Space 的链接.

包含此论文的收藏集0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection)，即可在此页面显示该收藏集的链接.