bitsandbytes

bitsandbytes 的创造者 Tim Dettmers 正在预告一种新的量化方法，据报道该方法可以在单块 DGX Spark 上以 7 tokens/s 的速度运行 GLM 5.3，社区对此持谨慎乐观态度。