标签
介绍了 Representation Forcing(RF),一种技术,使得统一多模态模型能够在没有外部VAE潜在空间的情况下端到端地执行感知和生成,在图像生成方面达到最先进的基于VAE的模型水平,同时提升理解能力。
DynaFLIP 是一个动力学感知的多模态预训练框架,将运动理解整合到机器人操作的视觉感知中。它使用图像-语言-3D流三元组和几何正则化来改进表征学习,在分布外场景中取得了显著提升。
本文倡导将能动方法融入人工智能的感知与认知领域,重点阐述了四个关键概念:经验、行动与感知的不可分割性、自主性和具身性。研究发现与强化学习存在共鸣,但建议更广泛地整合能动思想。
DexHoldem是一个真实世界基准,用于评估具身智能体在灵巧操作任务中的表现,通过使用ShadowHand玩德州扑克来测试在闭环环境中的基元执行、感知和决策能力。
本文提出一种强化学习框架,通过显式奖励感知保真度来改善视觉语言模型中的感知-推理协同,利用“蒙眼推理”代理和结构化言语验证来解决模态信用分配中的模糊性。
本文提出嵌入时序逻辑(ETL),一种直接在学习的嵌入空间中监控感知自主系统的时序逻辑,能够指定高级感知概念,并与真实语义具有强经验一致性。
本文介绍了 MediaPipe,这是一个由 Google 开发的用于构建跨平台感知管道的框架,通过提供组合组件、原型设计和性能测量的工具,简化了机器学习应用的开发。