systems-research

COPE: Composable Performance Emulation for Mixture-of-Experts Offloading Policies——上海交大IPADS提出的一个框架，通过Policy Matrix和Virtual Heterogeneous Machine在运行时集成前预测并选出最优的MoE专家卸载策略，将最快策略选择准确率提升24%–100%，性能预测误差降低1.7×–6.8×，并减少最多74%的策略实现工作量。

TokenRouter 是一个面向 token 级 LLM 路由的高效推理服务系统，采用「请求中心编程、模型中心执行」架构与延迟批调度策略，实现较现有系统 2.01–64.15 倍的解码吞吐提升。

TierKV proposes a predictive multi-tier KV caching framework to optimize memory usage and throughput for long-context LLMs on mobile devices, achieving significant performance improvements with minimal accuracy degradation.