标签
ThinkBit 是一个严格标量的两比特量化框架，通过分层比特分配、Gumbel-softmax 码字搜索、基于知识蒸馏的缩放重校准以及量化感知训练来保留模型的推理能力。在 Qwen3-1.7B 和 14B 模型上，它以远小于 bfloat16 的体积取得了接近原模型的 MATH-500 成绩。