cpu-pipelining

推测解码受1990年代CPU分支预测启发，现被Anthropic、Google和Meta用于将LLM推理速度提升2-3倍。它使用一个小模型来猜测未来的token，并用一个大模型并行验证它们，从而避免了解码期间GPU空闲时间。