标签
该论文提出了一个用于评估大语言模型在闭环物理交互中表现的基准，模型需通过连接机械臂、摄像头和传感器的系统在真实环境中执行任务并根据物理反馈调整行动。实验揭示了LLM在物理行动中的常见失败模式，如幻觉状态变化、糟糕的异常恢复和不稳定的长程规划。
本文介绍了Agent as Policy (AGP)，这是一个框架，使通用智能体无需针对特定任务训练，即可直接控制物理机器人执行操作任务，在各种现实场景中实现高成功率。
一个通用代理通过解读视觉证据、编写可执行程序，并基于物理反馈在多样化的操作任务中调整动作，直接控制物理机器人，无需针对特定任务的训练，便能实现高成功率。
文章提出了一种概念性的三层具身AI架构，旨在解决扩展LLM以实现代理的局限性，强调物理成本审计和离线睡眠周期。
SoftVTBench 呈现了一个同步的视觉触觉数据集和变形感知基准测试，用于评估可变形物体操作中的物理交互质量，包含4,000个演示和一个新的成功指标。
本文表明，通过随机物理探索训练世界模型，能够在不依赖任何语言监督的情况下，使潜在表征编码出空间语义结构（方向和位置），突显物理几何作为组织原则。