论文页面 - BioMatrix：迈向涵盖序列、结构和语言模态矩阵的综合性生物基础模型

来源：https://huggingface.co/papers/2606.22138 作者：

,

,

,

,

,

,

,

,

,

,

摘要

BioMatrix 是一种新颖的多模态基础模型，它将分子序列、结构和自然语言整合到一个统一的仅解码器架构中，用于多样化的生物任务。

我们提出了 BioMatrix，这是第一个多模态基础模型 (https://huggingface.co/papers?q=multimodal%20foundation%20model)，它在一个单一的仅解码器架构 (https://huggingface.co/papers?q=decoder-only%20architecture) 中，为分子和蛋白质原生集成了序列、结构和自然语言 (https://huggingface.co/papers?q=natural%20language)。现有的生物基础模型分别追求原生多模态和广泛的实体覆盖：那些在共同目标下融合多种模态的模型仍然局限于单一实体类型，而那些跨越多种实体类型的模型要么省略了明确的结构建模，要么依赖于基于适配器的设计，在这种设计中模型无法原生生成它可以读取的模态。BioMatrix 通过一个统一的分词方案，将分子序列（支持 SMILES 和 SELFIES 符号）、分子结构、蛋白质序列、蛋白质结构和自然语言映射到一个共享的离散 token 空间，从而弥补了这一差距，使得所有模态在单一的下一 token 预测目标下被均匀地消费和生成——无需外部编码器、投影适配器或特定于模态的输出头。BioMatrix 基于 Qwen3 语言模型（1.7B 和 4B）构建，在 304.4 billion 个 token 上持续预训练，这些 token 涵盖了通用和领域特定的文本、分子和蛋白质的序列和结构视图，以及交叉模态语料库，这些语料库将生物分子实体与科学文本交错，并通过分子-蛋白质和蛋白质-蛋白质相互作用数据连接不同的实体。在对涵盖 6 个类别 80 个任务的全面下游应用套件进行调优后——包括跨模态和模态内的单实体和多实体理解与生成任务——BioMatrix 在 80 个任务中的 77 个上达到了最先进或竞争性性能，表明一个单一的、原生多模态的通才模型可以在广泛的生物任务中有效匹配或超越专门方法。

查看 arXiv 页面 (https://arxiv.org/abs/2606.22138) 查看 PDF (https://arxiv.org/pdf/2606.22138) GitHub19 (https://github.com/QizhiPei/BioMatrix) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.22138)

引用本文的模型 4

QizhiPei/BioMatrix-4B-Base 文本生成 • 4B • 更新于约 1 小时前 • 77 • 1 (https://huggingface.co/QizhiPei/BioMatrix-4B-Base)

QizhiPei/BioMatrix-4B-SFT 文本生成 • 4B • 更新于约 1 小时前 • 69 • 1 (https://huggingface.co/QizhiPei/BioMatrix-4B-SFT)

QizhiPei/BioMatrix-1.7B-Base 文本生成 • 2B • 更新于约 1 小时前 • 76 (https://huggingface.co/QizhiPei/BioMatrix-1.7B-Base)

QizhiPei/BioMatrix-1.7B-SFT 文本生成 • 2B • 更新于约 1 小时前 • 5 (https://huggingface.co/QizhiPei/BioMatrix-1.7B-SFT)

引用本文的数据集 1

QizhiPei/BioMatrix-SFT 查看器 • 更新于约 1 小时前 • 23.6M • 787 • 1 (https://huggingface.co/datasets/QizhiPei/BioMatrix-SFT)

引用本文的 Space 0

无 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2606.22138，以从该页面链接它。

包含本文的收藏集 0

无收藏包含本文

将此论文添加到收藏集 (https://huggingface.co/new-collection)，以从该页面链接它。