heterogeneous-deployment

研究者提出“预填充即服务”（PrfaaS），将长上下文预填充卸载到远程计算密集型集群，并通过普通以太网流式传输 KVCache，实现独立扩缩容，使 1T 参数混合模型吞吐提升 32–54%。