@heyshrutimishra: 全尺寸AI模型现在可以在手机上运行。这就是 BitCPM，一个来自 ModelBest、清华大学和 OpenBMB 的全新开源模型。……

全尺寸AI模型现在可以在手机上运行了。

这就是 BitCPM，一个来自 ModelBest、清华大学和 OpenBMB 的全新开源模型。它的想法几乎简单到极致：每个权重只是 -1、0 或 +1 这三个值之一。

他们称之为 1.58 位（或称三元权重），正是这一点让一个能力如此强的模型小到能塞进手机里。

一个权重如此简单的模型按理说应该明显更差。但 BitCPM 大部分时候并非如此。

与同尺寸的全精度 MiniCPM4 模型相比，它在 1B 到 8B 版本上保持了 93-99% 的质量，在最小的 0.5B 版本上也达到了 90.1%。

重量大约减轻了 6 倍，而能力几乎没受影响。

另一个令人意外的地方是 BitCPM 的出身。

它并非在大多数模型所用的硬件上训练而成。整个过程都运行在华为的昇腾 910B 芯片上，从头到尾，这使得它成为首个在该平台上端到端验证的低位模型。

而且它完全开源。权重和训练脚本都公开，因此任何人都能重建它，而不仅仅是运行它。

如此轻量的模型无需再依赖云端。

它可以在你的手机、笔记本甚至汽车芯片上运行，速度更快、隐私性更强，因为数据无需离开设备。

BitCPM 现已开放，包括完整系列和微调脚本。

Hugging Face: https://huggingface.openbmb.com/collections/openbmb/bitcpm4-cann…
ModelScope: https://modelscope.cn/collections/OpenBMB/BitCPM4-CANN…

如果你从事任何与边缘 AI 相关的开发，务必亲身体验一下，然后向团队反馈你的发现。