目前理论上的 LLM 量化最佳位宽是什么？[D]

我很好奇，现在是否存在 LLM 量化的理论或经验“最佳点”，最好是用 GGUF 等开源格式进行的研究。假设你有固定的内存/计算预算，可以自由选择模型大小。例如，与其使用 8-bit 或 4-bit 的较小模型，不如在 3-bit、2-bit、1.5-bit 等位宽下容纳一个逐渐变大的模型。几年前，我记得 4-bit 经常被描述为大致上的实际最佳点，因为它在大幅减少内存的同时保留了大部分模型质量。但随着更新的方法，我看到了令人惊讶的强 3-bit、2-bit，甚至约 1.5-bit 的结果。因此，如果目标是在固定内存预算下最大化模型能力，而不是尽可能忠实地保留某个特定的预训练模型，那么当前研究认为最优的 bits-per-weight 是多少？是否有证据表明，例如，2-bit 的 70B 模型通常优于 4-bit 的 35B 模型，还是量化退化最终会超过额外参数带来的收益？我尤其对 2025-2026 年最近的理论/缩放定律工作或大型实证研究感兴趣。如果没有人在研究这个，那么你们中有人能做这项工作吗？我觉得这对社区可能极其有用。