标签
EntropyMoE 为无分词器大语言模型引入了一种熵感知的专家混合架构，使用动态字节补丁作为路由单元，以实现稀疏条件计算。实验表明，在保持下游精度的同时，它在基线中取得了最低的留出法每字节比特数（bits-per-byte）。
本文介绍了 Scratchpad Patching，这是一种针对无分词器（tokenizer-free）语言模型的技术，通过在补丁（patch）内动态刷新上下文来减少补丁滞后，从而将计算量与补丁大小解耦。
OpenBMB发布VoxCPM2，一个2B参数的无分词器TTS模型，基于超过200万小时的多语言语音数据训练，支持30种语言、语音设计、可控克隆和48kHz输出。