扩展自回归Transformer以用于单细胞生成

arXiv cs.LG 论文
single-cell generative-model transformer scaling-laws bioinformatics vae autoregressive

摘要

本文研究了一项自监督任务，即使用带有量化VAE分词器的自回归Transformer生成单细胞基因表达向量。文中报告了单细胞基础模型的缩放定律和计算最优前沿，并讨论了针对扰动预测进行微调的潜力。

arXiv:2608.02961v1 公告类型：新 摘要：我们研究了一项针对单细胞基因表达向量的自监督生成任务：给定来自某细胞类型的一组向量，我们的目标是生成该细胞类型的更多基因表达向量。为此，我们既评估了生成基因表达向量的生物学保真度，也刻画了预训练损失的缩放行为。该模型是一个因果Transformer，配有一个学习到的量化VAE分词器，并使用交叉熵损失进行训练。为了评估模型，我们以某个细胞类型的留出基因表达向量为条件，生成基因表达向量，并将所得基因表达向量分布与该细胞类型的真实分布进行比较。我们通过改变训练参数数量和训练数据量来研究所提出架构的缩放特性。据我们所知，我们首次为单细胞基础模型联合拟合了双指数缩放定律和计算最优前沿。最后，我们讨论了如何将该预训练模型微调用于扰动响应预测。
查看原文
查看缓存全文

缓存时间: 2026/08/05 07:44 

# 用于单细胞生成的自回归Transformer的缩放

Source: https://arxiv.org/html/

相似文章

用于生成式机构综合的离散自回归Transformer

arXiv cs.LG

本文提出了一种离散自回归Transformer，能够从目标连杆曲线生成平面机构，利用变分自编码器潜变量和标记化的关节坐标，在多种拓扑结构上实现多样且精确的设计。

Kathleen写作：无注意力机制的自回归生成与数据规模扩展

arXiv cs.CL

Kathleen系列的这篇论文表明，一个约0.5M参数、无注意力机制的字节级模型在WikiText-103语言建模和生成上可以击败参数匹配的transformer；引入了一种非参数的“形式距离”（Form Distance）度量来评估文本真实感；并证明从模型自身训练语料库进行检索增强解码能提高生成质量。

我仅能腾出小规模来摆弄Transformer

Reddit r/LocalLLaMA

一名学生介绍了Silia，这是一种新颖的Transformer架构，将注意力机制和前馈网络合并为统一操作，以在≤10M参数规模下节省参数，尽管计算资源有限，仍以更少的参数实现了与GPT-2相当的性能。