Tag
Cartesia 分享关于分层网络（H-Nets）的研究博客，展示无需分词器的字节级语言模型在受控实验中实现 3-5 倍计算效率提升，2 阶段 H-Net 以 10 倍更少计算与数据超越匹配的开源模型，并在代码等领域表现出色。
Cartesia 的 From Tokens to Bytes 系列第一篇探讨 Hierarchical Networks (H-Nets) 的扩展规律，展示学习式 tokenization 带来 3-5 倍计算效率提升，2 阶段 H-Net 以 10 倍更少算力和数据超越匹配的开源模型，并呈现 in-context tokenization 等新行为以及在生物与视觉等跨模态任务上的潜力。
Albert Gu announces a new version of hierarchical networks (H-Nets) that claim 3-5x efficiency gains in scaling law experiments, matching an open-source model trained on 11T tokens with roughly 10x less data and compute, as a step toward end-to-end learning from raw bytes.