Tag
LittleBit 提出了一种通过低秩潜在矩阵分解与二值化实现超低比特（低至0.1 BPW）LLM 量化的框架，配合多尺度补偿机制，在 Llama2-7B 上以 0.1 BPW 超越了现有 0.7 BPW 方法，实现约 31 倍内存压缩与最高 11.6 倍推理加速。
Samsung Labs 释出 LittleBit 项目（NeurIPS 2025 / ICML 2026），通过潜在空间低秩分解与二值化实现大语言模型的亚 1-bit（低至 0.1 bpw）压缩，并在 LittleBit-2 中引入 Joint-ITQ 潜在几何对齐初始化以提升性能。
ShamAN-Q 提出一种亚1比特后训练量化方法，通过用 Shampoo 优化器启发的稠密曲率度量（Kronecker 拟合经验 Fisher 信息矩阵）替代 NanoQuant 的对角重构几何，在 1 bpw 下显著降低 Qwen3-Base 的 WikiText-2 围惑度并保持零样本准确率。