parameter-sharing

标签

Cards List
#parameter-sharing

HiUni:在共享视觉空间中协调理解与生成

Hugging Face Daily Papers ↗ · 3天前 缓存

HiUni 探索通过广泛的参数共享,将预训练视觉语言模型扩展为统一的多模态模型,复用单一稠密骨干网络来同时完成理解与生成任务,并利用 PixelDiffusionHead 和 HiGate 通路应对优化与空间细节方面的挑战。实验表明,它在理解得分上与预训练视觉语言模型持平,同时在图像生成与编辑方面取得了具有竞争力的表现。

0 人收藏 0 人点赞
#parameter-sharing

面向循环 Transformer 的因果潜在工作区

arXiv cs.CL ↗ · 2026-10-19 缓存

该论文提出因果潜在工作区 Transformer(causal latent workspace Transformer),通过在共享深度的循环块之间加入可读写的前缀专属潜在槽位,提升了循环 Transformer 的语言建模困惑度,并在三个字节级语料上的多数设置中优于五个基线对照。

0 人收藏 0 人点赞
#parameter-sharing

LatentLoop:通过非对称计算分配扩展循环 MoE 模型

Hugging Face Daily Papers ↗ · 2026-10-14 缓存

论文提出 LatentLoop,通过非对称计算分配(压缩第一次循环访问的序列分辨率、保留第二次访问的全分辨率,并将节省的算力用于增大隐藏维度)来扩展循环 MoE 模型,在 1.3B–7B 参数范围内一致降低验证 NLL,相比原始 MoE 和循环基线分别节省约 19.0% 和 7.9% 的计算量。

0 人收藏 0 人点赞
#parameter-sharing

通过跨层共享神经专家提升Transformer的参数利用率

arXiv cs.LG ↗ · 2026-09-22 缓存

本文提出CS-MoE,一种创新的Transformer架构,通过跨层共享神经专家来提高参数利用率,仅激活55%的参数即可实现更低的困惑度。

0 人收藏 0 人点赞
#parameter-sharing

循环GPT-BERT:以参数换取计算的小型语言建模

arXiv cs.CL ↗ · 2026-09-10 缓存

本文介绍了循环GPT-BERT,它通过深度方向参数共享来训练参数更少的小型语言模型,在BabyLM 2026严格小规模设定中达到了与基准模型相当的性能。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈