context-sensitive

MicroSpec 是一种无需训练的技术，它能即时构建紧凑的上下文感知词汇表，以加速大型语言模型中的推测解码，将平均词汇表大小减少40倍以上，并相比EAGLE-2实现了高达1.32倍的端到端加速。