vocabulary-size

本文认为最优分词器词汇表大小并非固定不变，而是取决于部署场景，例如批大小和推理量。通过roofline分析以及在A10G和A100 GPU上的实验，本文展示了在端侧部署和数据中心服务之间，生命周期最优词汇量可变化多达16倍，且对质量影响极小。

本文提出了一种基于微积分的框架，利用一阶和二阶导数检验来估计端到端自动语音识别系统的最佳词汇量超参数，并在Librispeech语料库上提升了性能。