byte-level-llms

本文介绍了 Scratchpad Patching，这是一种针对无分词器（tokenizer-free）语言模型的技术，通过在补丁（patch）内动态刷新上下文来减少补丁滞后，从而将计算量与补丁大小解耦。