depth-compression

本文介绍CHERRY，一套用于计算高效语言模型的技术，包括选择性令牌监督、通过循环展开的深度压缩以及混合压缩专家，在韩语基础模型上取得了显著的效率提升。