dynamic-sparse-query-gather

DWARF-55M-Base 是一种新型语言模型，采用近乎全稀疏注意力架构（DSQG），仅包含一个完整因果注意力层，能够实现高达2048 token的可靠检索，并可外推至该上下文长度的3倍。该模型作为研究原型发布，供社区实验使用。