laneformer

Kog 开源了 Laneformer 2B 模型，这是一个 23 亿参数、经过指令调优的编码模型，专为高速解码设计。通过从架构阶段优先考虑延迟，实现了每秒超过 3000 个 token 的生成速度。