标签
该论文提出两种学习得到的潜在蛋白质语言——PLL（基于冻结ESM-2编码器构建的4,096状态上下文字母表）和SLL（对GCP-VQVAE Lite结构分词器的改进），并分别在其上通过下一词元预测预训练自回归Transformer（PLLM和SLLM）。在蛋白质序列与结构生成任务中，与氨基酸级自回归模型相比，它们展现出更好的计算扩展性、采样质量，以及相比AlphaFold2约1000倍的推理速度。
本研究比较了用于识别多语言大语言模型中潜在语言的探测技术，发现不同方法产生不一致的结果，表明它们揭示了多语言处理的不同方面，而非单一的内部通用语。