标签
Prism-ML 宣布他们的三元 Bonsai 模型现在可以进行微调,提供了示例代码,并建议使用较高的学习率。
Prism ML 正在与 Apple 洽谈部署模型缩小技术,使得强大的AI模型能够直接在iPhone上运行,提升隐私性并减少对云端推理的依赖。
Prism ML 发布了 Ternary-Bonsai-27B,这是 Qwen3.6-27B 的三元量化版本,在约 7.2 GB 的占用下保留了 FP16 智能的 95%,能够在笔记本电脑和单 GPU 上实现完整的 27B 级推理,在 Apple M5 Pro 上速度可达 26 tok/s。
Prism ML 发布了 Ternary-Bonsai-27B-mlx-2bit,这是一个三元量化的 27B 参数语言模型,在约 7.2 GB 内存下实现了 FP16 性能的约 95%,使笔记本电脑能够进行完整推理。