hybrid-language-model

标签

Cards List
#hybrid-language-model

[发布] SupraBrain-50M-v0.1

Reddit r/LocalLLaMA ↗ · 2026-08-03

SupraLabs 发布了 SupraBrain-50M,这是一种混合语言模型,结合了 Gated DeltaNet、滑动窗口注意力(Sliding-Window Attention)和惊喜门控(Surprise-Gated)机制,尽管训练使用的 token 数量少得多,但性能与 Supra-Base-50M 几乎持平。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈