标签
COPE：面向混合专家卸载策略的可组合性能仿真——上海交大IPADS提出的一个框架，通过策略矩阵和虚拟异构机器，在运行时集成前预测并选出最优的混合专家（MoE）专家卸载策略，将最快策略选择准确率提升24%–100%，性能预测误差降低1.7×–6.8×，并减少最多74%的策略实现工作量。
TokenRouter 是一个面向 token 级 LLM 路由的高效推理服务系统，采用「请求中心编程、模型中心执行」架构与延迟批调度策略，实现较现有系统 2.01–64.15 倍的解码吞吐提升。
TierKV提出一种预测性多层KV缓存框架，用于优化长上下文大型语言模型在移动设备上的内存使用和吞吐量，在最小精度损失下实现显著的性能提升。