inference-systems

本文研究了轨迹驱动评估如何误导对MoE专家缓存的评估，识别出重放语义、工作负载污染和运行区间三个混淆轴，它们可能颠倒策略排名。在纠正这些问题后，研究表明，离线最优差距在很大程度上高估了轻量级因果缓存机制实际恢复的收益。