Carbon-X 是一个拥有 148 亿参数、在 DNA 和文本上联合训练的开放模型 [R]

Reddit r/MachineLearning 模型
open-source dna genomics multimodal language-model bioinformatics

摘要

Carbon-X 是一个开放的 148 亿参数仅解码器模型，通过共享的 6-mer 词元流联合处理原始 DNA 和文本，在五项 DNA 基准测试中取得了 66.7% 的平均成绩——几乎与 GPT-6.1 Sol 持平——其权重采用 Apache 2.0 许可证，可装入单张 80GB GPU。

Carbon-X 是一个拥有 148 亿参数的纯解码器模型，可以在普通聊天中接收原始 DNA 序列，并用英语回答。它使用 6-mer 词元，让文本和 DNA 共用同一个词元流，并在中期训练中使用了 3020 亿个词元。据 Hugging Face 报告，在关闭思考功能的情况下，它在五项 DNA 基准测试中的平均得分为 66.7%，而 GPT-6.1 Sol 为 67.5%。其 bfloat16 格式的权重可装入单张 80 GB GPU，并采用 Apache 2.0 许可证。它尚未经过临床验证，模型卡也指出，精确的序列操作仍应由代码处理。实用之处在于，它让序列分析能够在本地完成，从而适用于敏感数据集。有人测试过这些基准测试中的性能提升是否也适用于私有变异数据集吗？来源：https://huggingface.co/HuggingFaceBio/Carbon-X
查看原文

相似文章

Carbon-X：最佳开源 DNA 语言模型，可通过 llama.cpp 在本地运行

Reddit r/LocalLLaMA

HuggingFace Bio 发布 Carbon-X，这是一个拥有 140 亿参数的 DNA 与自然语言联合模型，在五项 DNA 基准测试中超越所有开源模型，并达到 GPT-6.1 Sol 的水平，而成本仅为其约千分之一，同时提供 GGUF 版本，支持通过 llama.cpp 在本地运行。

Carbon：解码生命语言

Reddit r/LocalLLaMA

Hugging Face 发布了 Carbon，一个开放的 DNA 基础模型系列，在匹配 Evo2-7B 最先进性能的同时，速度快 275 倍，采用 6-mer 分词、分解损失和精选的基因组数据。

@aisolopreneur：Hugging Face 刚刚发布了 Carbon-X，一个开源模型，你可以直接用自然语言问它关于 DNA 的问题，而且在它自己的测试中……

X AI KOLs Timeline

Hugging Face 发布了 Carbon-X，这是一个开源 DNA 语言模型，能够用通俗英语回答有关基因序列的问题。在 DNA 基准测试中，它的得分达到 66.7%，接近 GPT-6.1 Sol 的水平，而每道题的成本仅约为其 1/1800。该模型可在单块 80GB GPU 上运行，有望大幅降低医院和研究人员进行大规模变异分类的成本。不过，该模型尚未经过临床验证。