turbomind

一个名为club-3090的GitHub仓库提供了在RTX 3090 GPU上本地运行大型语言模型的配方和配置，支持多种引擎和量化方法，如Dflash和TurboQuant，包括新解锁的Q5量化。