标签
该论文提出两种学习得到的潜在蛋白质语言——PLL（基于冻结ESM-2编码器构建的4,096状态上下文字母表）和SLL（对GCP-VQVAE Lite结构分词器的改进），并分别在其上通过下一词元预测预训练自回归Transformer（PLLM和SLLM）。在蛋白质序列与结构生成任务中，与氨基酸级自回归模型相比，它们展现出更好的计算扩展性、采样质量，以及相比AlphaFold2约1000倍的推理速度。
本文提出了一种两阶段物理约束自回归Transformer模型，用于预测信号交叉口驾驶员的停-走决策和纵向轨迹，利用真实数据增强交通安全。
本文介绍了World-Language-Action（WLA）模型，这是一种具身基础模型，能够从文本、图像和机器人状态中联合预测文本子任务、子目标图像和机器人动作，在模拟和真实环境中实现了最先进的多任务与长周期学习能力。
PRISM是一种仅解码器的自回归变换器，通过联合预测材料选择和厚度来解决多层薄膜光学涂层设计的逆问题，以更小的模型实现了最先进的性能。
UniT是一种统一的几何感知前馈模型，采用分组自回归Transformer，集成了多种范式（在线/离线、多模态、长时域），同时通过自适应尺度损失和队列式KV缓存保持度量尺度精度。它在涵盖七个任务的十个基准上取得了最先进性能。