@QuixiAI: @MicrosoftAI 从未发布过 BitNet 训练器。我修复了那个 bug。https://github.com/QuixiAI/bitnet 训练了我自己的 BitNe…

usage: setup_env.py [-h] [–hf-repo {1bitLLM/bitnet_b1_58-large,1bitLLM/bitnet_b1_58-3B,HF1BitLLM/Llama3-8B-1.58-100B-tokens,tiiuae/Falcon3-1B-Instruct-1.58bit,tiiuae/Falcon3-3B-Instruct-1.58bit,tiiuae/Falcon3-7B-Instruct-1.58bit,tiiuae/Falcon3-10B-Instruct-1.58bit}] [–model-dir MODEL_DIR] [–log-dir LOG_DIR] [–quant-type {i2_s,tl1}] [–quant-embd] [–use-pretuned] 设置推理环境

可选参数: -h, –help 显示此帮助信息并退出 –hf-repo {1bitLLM/bitnet_b1_58-large,1bitLLM/bitnet_b1_58-3B,HF1BitLLM/Llama3-8B-1.58-100B-tokens,tiiuae/Falcon3-1B-Instruct-1.58bit,tiiuae/Falcon3-3B-Instruct-1.58bit,tiiuae/Falcon3-7B-Instruct-1.58bit,tiiuae/Falcon3-10B-Instruct-1.58bit}, -hr {1bitLLM/bitnet_b1_58-large,1bitLLM/bitnet_b1_58-3B,HF1BitLLM/Llama3-8B-1.58-100B-tokens,tiiuae/Falcon3-1B-Instruct-1.58bit,tiiuae/Falcon3-3B-Instruct-1.58bit,tiiuae/Falcon3-7B-Instruct-1.58bit,tiiuae/Falcon3-10B-Instruct-1.58bit} 用于推理的模型 –model-dir MODEL_DIR, -md MODEL_DIR 保存/加载模型的目录 –log-dir LOG_DIR, -ld LOG_DIR 保存日志信息的目录 –quant-type {i2_s,tl1}, -q {i2_s,tl1} 量化类型 –quant-embd 将嵌入层量化为 f16 –use-pretuned, -p 使用预调优的内核参数

usage: run_inference.py [-h] [-m MODEL] [-n N_PREDICT] -p PROMPT [-t THREADS] [-c CTX_SIZE] [-temp TEMPERATURE] [-cnv] 运行推理

可选参数: -h, –help 显示此帮助信息并退出 -m MODEL, –model MODEL 模型文件的路径 -n N_PREDICT, –n-predict N_PREDICT 生成文本时预测的 token 数量 -p PROMPT, –prompt PROMPT 用于生成文本的提示 -t THREADS, –threads THREADS 使用的线程数 -c CTX_SIZE, –ctx-size CTX_SIZE 提示上下文的大小 -temp TEMPERATURE, –temperature TEMPERATURE 温度，控制生成文本随机性的超参数 -cnv, –conversation 是否启用聊天模式（针对 instruct 模型）。（启用此选项后，由 -p 指定的提示将用作系统提示。）