标签
HiUni 探索通过广泛的参数共享,将预训练视觉语言模型扩展为统一的多模态模型,复用单一稠密骨干网络来同时完成理解与生成任务,并利用 PixelDiffusionHead 和 HiGate 通路应对优化与空间细节方面的挑战。实验表明,它在理解得分上与预训练视觉语言模型持平,同时在图像生成与编辑方面取得了具有竞争力的表现。
该论文提出因果潜在工作区 Transformer(causal latent workspace Transformer),通过在共享深度的循环块之间加入可读写的前缀专属潜在槽位,提升了循环 Transformer 的语言建模困惑度,并在三个字节级语料上的多数设置中优于五个基线对照。
论文提出 LatentLoop,通过非对称计算分配(压缩第一次循环访问的序列分辨率、保留第二次访问的全分辨率,并将节省的算力用于增大隐藏维度)来扩展循环 MoE 模型,在 1.3B–7B 参数范围内一致降低验证 NLL,相比原始 MoE 和循环基线分别节省约 19.0% 和 7.9% 的计算量。
本文提出CS-MoE,一种创新的Transformer架构,通过跨层共享神经专家来提高参数利用率,仅激活55%的参数即可实现更低的困惑度。
本文介绍了循环GPT-BERT,它通过深度方向参数共享来训练参数更少的小型语言模型,在BabyLM 2026严格小规模设定中达到了与基准模型相当的性能。