huffman-coding

揭示了LLM中的MoE路由遵循类似于哈夫曼编码的频率-多样性定律，并提出了子集差异剪枝（Subset Difference Pruning）来消除功能冗余，实现最优压缩。

这篇博客分析了PivCo-Huffman论文，该论文引入了并行Huffman解码的“合并”操作，无需交错开销即可实现高效的向量化和GPU友好解码。

本文介绍了PivCo-Huffman，一种利用小波树中的枢轴编码进行霍夫曼编码的新方法，实现了高性能的SIMD友好编码和解码。它始终优于最先进的霍夫曼编解码器，并展示了如何将ANS编码选择性地应用于偏斜节点，以接近ANS压缩比，同时保持高解压缩速度。