MolmoAct 2
摘要
MolmoAct 2 是由 Allen Institute for Artificial Intelligence 开发的开源机器人模型，能够在执行动作前进行三维空间推理。
<p>
在行动前进行三维推理的开源机器人模型
</p>
<p>
<a href="https://www.producthunt.com/products/allen-institute-of-artificial-intelligence?utm_campaign=producthunt-atom-posts-feed&utm_medium=rss-feed&utm_source=producthunt-atom-posts-feed">讨论</a>
|
<a href="https://www.producthunt.com/r/p/1139760?app_id=339">链接</a>
</p>
相似文章
MolmoAct2：面向真实场景部署的动作推理模型
Allen AI 发布了 MolmoAct2，这是一款专为真实场景机器人部署设计的开放权重视觉-语言-动作模型，具备新数据集、开放动作分词器以及自适应推理以降低延迟等特性。
AllenAI 持续推进其 MolmoAct2 机器人模型
AllenAI 发布了用于机器人控制的开源 MolmoAct2 模型，包含多个针对不同任务微调的版本，并提供了完整数据集和训练代码。
MolmoMotion：语言引导的3D运动预测
MolmoMotion是一种新的语言引导的3D运动预测模型，它从视频帧和动作描述中预测未来的3D点轨迹，性能优于现有方法。同时，该模型还发布了一个大型数据集（MolmoMotion-1M）和一个基准（PointMotionBench）。
AllenAI 发布 MolmoMotion 视觉模型，基于短帧历史预测未来运动
AllenAI 发布 MolmoMotion，一种旨在基于短帧历史预测未来运动的视觉模型。
SpatialAct: 探索VLM智能体在3D场景中的空间推理到行动的能力
SpatialAct是一个新的基于模拟器的基准，用于探索VLM智能体是否能在多轮反馈设置下进行连贯的空间推理并将其转化为3D环境中的行动。实验揭示了一个显著的推理到行动差距：当前的VLM尽管在孤立推理任务上表现良好，但难以维持空间信念并产生可靠的行为。