gpu-decoding

这篇博客分析了PivCo-Huffman论文，该论文引入了并行Huffman解码的“合并”操作，无需交错开销即可实现高效的向量化和GPU友好解码。

推测解码受1990年代CPU分支预测启发，现被Anthropic、Google和Meta用于将LLM推理速度提升2-3倍。它使用一个小模型来猜测未来的token，并用一个大模型并行验证它们，从而避免了解码期间GPU空闲时间。