标签
一种无需训练的空间推理框架，它利用由预测3D几何生成的合成新视角视频，实现对自我中心视频中结论的重新审视。
ActiveMimic 是一个预训练框架，它从自我中心人体视频中恢复相机和手腕轨迹，将主动感知建模为视角动作，从而使机器人预训练能够达到与直接在机器人数据上训练的模型相当的性能。
SuperMemory-VQA 是一个新的自我中心VQA基准，包含52.9小时AI眼镜录像和4,853个问答对，旨在评估AI助手在长期记忆任务上的表现，涵盖物体回忆、意图、时间线和对话。基准测试显示，现有的智能体框架和大型语言模型在这些真实世界的记忆挑战上仍远未达到可靠水平。
硅谷初创公司Human Archive已融资820万美元，用于从印度零工工人处收集第一人称视频数据，以训练机器人完成体力任务。尽管遭到主要家庭服务平台拒绝，该公司仍与该领域的其他公司合作。
本文研究了在仿真过程中使用视觉语言模型从第一视角视频评估护理能力，发现识别准确率与能力水平呈负相关，表明这一信号具有教学意义。
Ego2World将第一人称烹饪视频（HD-EPIC）转换为具有图转换规则的可执行符号世界，从而能够在部分观察下评估信念状态规划。实验表明，信念记忆提高了任务完成率，表明它应该成为具身智能体评估的首要目标。
PhysBrain 1.0 是一份技术报告，提出了一种利用人类自我中心视频为视觉-语言-动作模型生成物理常识监督的方法，在ERQA、PhysBench、SimplerEnv-WidowX、LIBERO和RoboCasa等具身控制基准上取得了最先进的结果。