semantic-codebook

本文提出将多模态数据（图像、视频、文本）表示为原子命题（例如'人拿着杯子'）的包，通过全局语义码本统一，实现可解释、组合化和跨模态理解。该框架在自动驾驶和开放世界数据上进行了演示。