zero-shot-generalization

EgoPhys 提出一个框架，利用通用先验和紧凑码本从第一人称 RGB 视频构建可变形物理数字孪生，无需针对每个弹簧进行优化即可实现对新物体的零样本泛化。该系统在真实机器人上进行了演示，表明第一人称人类玩耍视频可以作为可变形物体规划的内部世界表征。

提出PCSP，一种基于冻结LLM角色描述嵌入的单一强化学习策略，可在生活模拟游戏中实现可扩展、实时的角色可追溯NPC控制。实验表明，该方法实现了零样本角色识别和行为对齐，推理速度比LLM基线快。