标签
清华大学等团队发布了 TokenRouter，一个支持小模型与大模型在单次回答中进行 token 级协作的推理服务引擎，通过减少模型切换的等待开销，在双卡 A100 上将 8 路并发的总吞吐从约 135 tokens/s 提升到 372 tokens/s（2.76 倍）。代码与论文均已开源公开。