将布尔标志压缩至11位
摘要
本文讨论了一种将布尔标志压缩至11位的方法,重点在于高效的数据编码技术。
暂无内容
相似文章
如何在8位字节中打包三进制数
一篇博客文章,描述了一种高效的方法,使用SIMD友好的解包将三进制数打包到8位字节中,实现了每trit 1.6比特,并应用于LLM权重量化如BitNet b1.58。
二进制打包很有趣
本文描述了构建自定义二进制格式以减少 JSON 数据大小达 80%,由此创建了 jBin,一种用于高效数据打包的二进制模式语言。
压缩与遗忘:bitsandbytes量化放大LLMs中的前瞻干扰
论文发现,bitsandbytes INT4量化显著放大了LLMs中的前瞻干扰,在重复覆盖的上下文中降低了准确性,并突显了语义密集型应用中的部署风险。
通过潜在分解实现亚 1-bit LLM 压缩
Samsung Labs 释出 LittleBit 项目(NeurIPS 2025 / ICML 2026),通过潜在空间低秩分解与二值化实现大语言模型的亚 1-bit(低至 0.1 bpw)压缩,并在 LittleBit-2 中引入 Joint-ITQ 潜在几何对齐初始化以提升性能。
低比特整数的有符号对称量化
本文针对低比特整数提出了有符号对称量化方法,该方法将额外的可表示值分配给主要的离群尾,与标准对称量化相比,在不增加推理成本的情况下,改善了大语言模型(LLM)的量化误差和困惑度。