token-adaptive

本文提出UniF-MoE，一种用于Token自适应混合专家计算的统一框架，该框架首先共享专家间的可复用计算，然后路由剩余的残余需求，从而在DomainBed和GLUE基准上提升性能，同时减少激活计算量、延迟和内存占用。

DepthWeave-KV 是一种令牌自适应跨层残差分解方法，用于在长上下文Transformer推理中压缩KV缓存。该方法在64K上下文下实现8.3倍内存缩减和72.8令牌/秒的吞吐量，同时在各项基准测试中保持了接近完整缓存的任务质量。