标签
本文提出将多模态数据（图像、视频、文本）表示为原子命题（例如'人拿着杯子'）的包，通过全局语义码本统一，实现可解释、组合化和跨模态理解。该框架在自动驾驶和开放世界数据上进行了演示。
本文提出了一种混合预训练目标，结合了JEPA潜在空间预测和MLM重建，用于语言模型，显示出改进的嵌入均匀性和语义-词汇平衡。
本文指出，设计先进的语言表征以塑造认知图式，是在不扩展参数规模的前提下拓展LLM智能的关键前沿。文章提供了形式化定义与实证证据，表明不同的语言结构会显著影响模型性能与内部特征激活。