标签
该预印本指出，可学习的嵌入表占据了小型语言模型体积的主要部分，并证明了一个由512位编码构成的16MB冻结词表在基准测试上可以匹配甚至超越训练的嵌入表，从而实现了仅46MB的BitNet三值模型，CPU推理速度提升5-6倍，内存占用仅为原来的七分之一。
GPT-2 令牌嵌入空间的交互式地图，用户可点击任意令牌探索其嵌入。