llm-inference-acceleration

介绍了LEDE，一个利用离线强化学习动态选择退出层和推测长度的框架，用于LLM的自推测解码，相较于自回归解码实现了高达2.7倍的加速。