标签
Cartesia 发布了关于分层网络（H-Nets）的研究博客，展示了无需分词器的字节级语言模型在受控实验中实现 3-5 倍计算效率提升，2 阶段 H-Net 以 10 倍更少的计算量和数据超越了规模匹配的开源模型，并在代码等领域的表现出色。
Cartesia 的 From Tokens to Bytes 系列第一篇探讨了 Hierarchical Networks（H-Net）的扩展规律，展示了学习式 tokenization 带来的 3-5 倍计算效率提升，2 阶段 H-Net 以 10 倍更少的算力和数据超越了相匹配的开源模型，并呈现了 in-context tokenization 等新行为，以及在生物、视觉等跨模态任务上的潜力。
Albert Gu 宣布了 hierarchical networks (H-Nets) 的新版本，在 scaling law 受控实验中实现了 3-5 倍的效率提升，用大约 10 倍更少的数据和计算量匹敌一个在 11T tokens 上训练的开源模型，这是迈向从原始字节端到端学习的重要一步。