《自然》论文改造大语言模型，使其基于原始字节而非词元运行

一篇[于2026年10月7日发表在《自然》上的论文](https://nature.com/articles/s41586-026-11111-4?code=ef6759a7-4657-4854-a6e7-87a5ed6db042&error=cookies\_not\_supported)介绍了一种作者称为“字节化”的方法：使用不到典型预训练预算的1%，将现有的子词级语言模型转换为字节级模型。其中最引人注目的数字是总计491亿个词元，分为两个阶段：第一阶段使用98亿个词元，并冻结全局模型；第二阶段使用393亿个词元。该团队由Benjamin Minixhofer领衔，共同作者包括Luke Zettlemoyer、Noah A. Smith、Luca Soldaini和Valentin Hofmann。他们将这一方法应用于四个开放模型：Olmo 3 7B、OLMo 2 1B、Qwen3 8B Base和Llama 3 8B。字节化后的版本分别命名为Bolmo 7B、Bolmo 1B、Bwen 8B和Blama 8B。参数量几乎没有变化——Bolmo 7B增加了4.5%，Bolmo 1B减少了0.7%。论文报告称，与此前的字节级基线模型BLT 7B相比，Bolmo 7B“在STEM任务上的表现绝对提升了16.5%”，同时在通用基准测试中的表现仍接近其源子词模型。作者直言其研究动机：大多数前沿模型“使用子词分词，这会掩盖细粒度信息，给代码或生物序列等科学数据的处理带来问题”。字节级模型可以绕过这一问题，但“此前在性能上一直落后”。该方法的关键在于两项技术选择。边界预测采用非因果方式，利用后续一个字节的上下文。此外，通过将边界符号直接与字节融合，字节词表从256扩展至512。作者声称，所得模型“通过高效处理字节级信息，以实用的推理速度运行”，同时仍与现有的模型服务技术栈兼容。