@QuixiAI: @MicrosoftAI 从未发布过 BitNet 训练器。我修复了那个 bug。https://github.com/QuixiAI/bitnet 训练了我自己的 BitNe…

X AI KOLs Following 工具
bitnet 1-bit-llm training inference open-source cpu gpu

摘要

一位用户发布了微软从未公开发布的 BitNet 训练器，以及用于训练和推理的自定义内核，同时强调了微软的 bitnet.cpp 推理框架，该框架可在 CPU 和 GPU 上实现快速 1 位 LLM 推理。

@MicrosoftAI 从未发布过 BitNet 训练器。我修复了那个 bug。https://github.com/QuixiAI/bitnet 训练了我自己的 BitNet。我编写了自己的内核。下一步是量化。他们说这不可能。嗯哼。
查看原文
查看缓存全文

缓存时间: 2026/07/15 19:58

usage: setup_env.py [-h] [–hf-repo {1bitLLM/bitnet_b1_58-large,1bitLLM/bitnet_b1_58-3B,HF1BitLLM/Llama3-8B-1.58-100B-tokens,tiiuae/Falcon3-1B-Instruct-1.58bit,tiiuae/Falcon3-3B-Instruct-1.58bit,tiiuae/Falcon3-7B-Instruct-1.58bit,tiiuae/Falcon3-10B-Instruct-1.58bit}] [–model-dir MODEL_DIR] [–log-dir LOG_DIR] [–quant-type {i2_s,tl1}] [–quant-embd] [–use-pretuned] 设置推理环境

可选参数: -h, –help 显示此帮助信息并退出 –hf-repo {1bitLLM/bitnet_b1_58-large,1bitLLM/bitnet_b1_58-3B,HF1BitLLM/Llama3-8B-1.58-100B-tokens,tiiuae/Falcon3-1B-Instruct-1.58bit,tiiuae/Falcon3-3B-Instruct-1.58bit,tiiuae/Falcon3-7B-Instruct-1.58bit,tiiuae/Falcon3-10B-Instruct-1.58bit}, -hr {1bitLLM/bitnet_b1_58-large,1bitLLM/bitnet_b1_58-3B,HF1BitLLM/Llama3-8B-1.58-100B-tokens,tiiuae/Falcon3-1B-Instruct-1.58bit,tiiuae/Falcon3-3B-Instruct-1.58bit,tiiuae/Falcon3-7B-Instruct-1.58bit,tiiuae/Falcon3-10B-Instruct-1.58bit} 用于推理的模型 –model-dir MODEL_DIR, -md MODEL_DIR 保存/加载模型的目录 –log-dir LOG_DIR, -ld LOG_DIR 保存日志信息的目录 –quant-type {i2_s,tl1}, -q {i2_s,tl1} 量化类型 –quant-embd 将嵌入层量化为 f16 –use-pretuned, -p 使用预调优的内核参数

usage: run_inference.py [-h] [-m MODEL] [-n N_PREDICT] -p PROMPT [-t THREADS] [-c CTX_SIZE] [-temp TEMPERATURE] [-cnv] 运行推理

可选参数: -h, –help 显示此帮助信息并退出 -m MODEL, –model MODEL 模型文件的路径 -n N_PREDICT, –n-predict N_PREDICT 生成文本时预测的 token 数量 -p PROMPT, –prompt PROMPT 用于生成文本的提示 -t THREADS, –threads THREADS 使用的线程数 -c CTX_SIZE, –ctx-size CTX_SIZE 提示上下文的大小 -temp TEMPERATURE, –temperature TEMPERATURE 温度，控制生成文本随机性的超参数 -cnv, –conversation 是否启用聊天模式（针对 instruct 模型）。（启用此选项后，由 -p 指定的提示将用作系统提示。）

相似文章

Bitnet.cpp：面向三值大语言模型的高效边缘推理

Papers with Code Trending

Bitnet.cpp 提出了一个混合精度矩阵乘法库，用于高效边缘推理三值大语言模型（如 BitNet b1.58），相比全精度基线实现了高达 6.25 倍的加速。该系统已在 GitHub 上开源。

又是Bitnet？

Reddit r/LocalLLaMA

微软在HuggingFace上发布了一个名为bitnet-embedding-0.6b的新嵌入模型，但模型卡缺失。