moe-routing

NVIDIA和Unsloth发布了一篇技术指南，详细介绍了三种底层优化方法，可将LLM微调速度提升高达25%，包括打包序列缓存、双缓冲检查点存储和优化的MoE路由。该指南提供了深入的系统级解释和基准测试，面向机器学习工程师和开发者。