论文页面 - 用于自回归生成的潜在蛋白质语言学习

来源：https://huggingface.co/papers/2610.03978

摘要

自回归 transformer 在蛋白质序列与结构生成方面目前仍相对薄弱。我们研究了目标表示所扮演的角色：氨基酸 token 仅编码残基身份而不包含显式的上下文语义，而在我们的框架中主链坐标需要一种离散表示。我们提出了两种可学习的潜在蛋白质语言。Protein Latent Language（PLL）将序列映射到建立在冻结的 ESM-2 编码器之上的 4,096 状态上下文字母表，每个残基对应一个 token。Structure Latent Language（SLL）在 GCP-VQVAELite 的基础上引入了辅助的序列与置信度监督，同时保留了解码回主链坐标的能力。我们分别在 PLL 和 SLL 的 token 上使用 next-token prediction 预训练自回归 transformer 模型，得到 PLLM 和 SLLM。在下游序列训练条件匹配的情况下，PLLM 的拟合计算量缩放指数为 0.038，而氨基酸自回归模型仅为 0.020。在无条件序列生成中，相对于氨基酸模型，PLLM 在不同采样温度下使残基组成熵低于启发式 1.5 比特阈值的样本比例降低了 54%。在序列到结构预测任务中，在训练条件匹配的情况下，将原始的 GCP-VQVAELite tokenizer 替换为 SLL 后，最佳验证困惑度降低了 34%。对于长蛋白，我们在测量中发现基于潜在 token 的采样比基于 MSA 的 AlphaFold2 快约 1,000 倍。在主链生成方面，SLLM 在多样性和新颖性上与其他生成模型相比表现相当。我们还观察到初步迹象表明，在推理时采样中利用 SLLM 内部的 token 置信度，可以在单一解码样本的基础上进一步提升序列到结构预测的质量。这些结果表明，可学习的潜在蛋白质语言有望成为自回归 transformer 规模化与推理时采样在蛋白质生成中的有力基础。

查看 arXiv 页面 (https://arxiv.org/abs/2610.03978) 查看 PDF (https://arxiv.org/pdf/2610.03978) 项目页面 (https://mahdip72.github.io/latent-protein-languages.github.io/) GitHub (https://github.com/mahdip72/latent_protein_languages) 添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.03978)

在你的 agent 中获取这篇论文：

hf papers read 2610.03978

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

没有模型关联该论文

在模型 README.md 中引用 arxiv.org/abs/2610.03978，即可从此页面关联该论文。

引用该论文的数据集 0

没有数据集关联该论文

在数据集 README.md 中引用 arxiv.org/abs/2610.03978，即可从此页面关联该论文。

引用该论文的 Spaces 0

没有 Space 关联该论文

在 Space README.md 中引用 arxiv.org/abs/2610.03978，即可从此页面关联该论文。

包含该论文的合集 0

没有合集包含该论文

将该论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面关联它。