serving-infrastructure

本文认为最优分词器词汇表大小并非固定不变，而是取决于部署场景，例如批大小和推理量。通过roofline分析以及在A10G和A100 GPU上的实验，本文展示了在端侧部署和数据中心服务之间，生命周期最优词汇量可变化多达16倍，且对质量影响极小。