@AdinaYakup: BitCPM4-CANN 原生1.58位LLM训练系统，在昇腾NPU上运行 https://huggingface.co/collections/openbmb/bitcpm4-cann…

X AI KOLs Following 模型
ternary-quantization llm ascend-npu open-source model-release bitcpm4

摘要

OpenBMB 发布了 BitCPM4-CANN，这是一套原生训练的三元量化1.58位LLM集合（参数规模0.5B到8B），通过CANN针对昇腾NPU进行了优化，推理时内存减少6倍，训练开销极低。

BitCPM4-CANN 原生1.58位LLM训练系统，在昇腾NPU上运行 https://huggingface.co/collections/openbmb/bitcpm4-cann… 0.5B/1B/3B/8B - Apache 2.0 推理时内存减少6倍 训练吞吐开销仅4.5%
查看原文
查看缓存全文

缓存时间: 2026/05/23 12:05

BitCPM4-CANN 在昇腾NPU上的原生1.58比特LLM训练系统 https://huggingface.co/collections/openbmb/bitcpm4-cann… 0.5B/1B/3B/8B - Apache 2.0 推理时内存减少6倍 训练吞吐开销仅4.5%

BitCPM4-CANN - 一个openbmb系列

来源：https://huggingface.co/collections/openbmb/bitcpm4-cann 约23小时前更新

基于CANN的全流水线三元量化模型。

  • — #### openbmb/BitCPM4-CANN-0.5B-gguf 文本生成 • 0.4B • 1天前更新 • 185 • 2 (https://huggingface.co/openbmb/BitCPM4-CANN-0.5B-gguf)
  • — #### openbmb/BitCPM4-CANN-1B-gguf 文本生成 • 2B • 1天前更新 • 174 • 1 (https://huggingface.co/openbmb/BitCPM4-CANN-1B-gguf)
  • — #### openbmb/BitCPM4-CANN-3B-gguf 文本生成 • 4B • 1天前更新 • 162 • 2 (https://huggingface.co/openbmb/BitCPM4-CANN-3B-gguf)
  • — #### openbmb/BitCPM4-CANN-8B-gguf 文本生成 • 8B • 1天前更新 • 256 • 7 (https://huggingface.co/openbmb/BitCPM4-CANN-8B-gguf)
  • — #### openbmb/BitCPM4-CANN-0.5B 文本生成 • 1天前更新 • 176 • 5 (https://huggingface.co/openbmb/BitCPM4-CANN-0.5B)
  • — #### openbmb/BitCPM4-CANN-1B 文本生成 • 1天前更新 • 58 • 5 (https://huggingface.co/openbmb/BitCPM4-CANN-1B)
  • — #### openbmb/BitCPM4-CANN-3B 文本生成 • 1天前更新 • 82 • 6 (https://huggingface.co/openbmb/BitCPM4-CANN-3B)
  • — #### openbmb/BitCPM4-CANN-8B 文本生成 • 1天前更新 • 204 • 12 (https://huggingface.co/openbmb/BitCPM4-CANN-8B)
  • — #### openbmb/BitCPM4-CANN-0.5B-unquantized 文本生成 • 约21小时前更新 • 50 (https://huggingface.co/openbmb/BitCPM4-CANN-0.5B-unquantized)
  • — #### openbmb/BitCPM4-CANN-1B-unquantized 文本生成 • 约21小时前更新 • 71 (https://huggingface.co/openbmb/BitCPM4-CANN-1B-unquantized)
  • — #### openbmb/BitCPM4-CANN-3B-unquantized 文本生成 • 约21小时前更新 • 64 (https://huggingface.co/openbmb/BitCPM4-CANN-3B-unquantized)
  • — #### openbmb/BitCPM4-CANN-8B-unquantized 文本生成 • 约21小时前更新 • 72 (https://huggingface.co/openbmb/BitCPM4-CANN-8B-unquantized)

相似文章

新的BITNET模型！

Reddit r/LocalLLaMA

OpenBMB发布的新BitCPM4-CANN模型（1B、3B、8B），已上架Hugging Face；等待llamacpp支持以进行测试。