Bonsai 2 27B：在更小9倍的占用空间中实现近无损压缩

# 评论：Bonsai 2 27B：以9倍体积缩减实现近无损压缩 来源：https://simonwillison.net/2026/Sep/17/hn-49747390/ 2026年9月17日 如果你想尝试来自https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf#these-files-need-our-llamacpp-build的GGUF模型，请注意你需要使用Prism的llama\.cpp分支才能运行，下载地址为https://github.com/PrismML-Eng/llama.cpp/releases/tag/prism-b10685-7dffb15 以下步骤应该可行： ``` cd /tmp # 获取Prism macOS运行时 curl -fL https://github.com/PrismML-Eng/llama.cpp/releases/download/prism-b10685-7dffb15/llama-prism-b10685-7dffb15-bin-macos-arm64.tar.gz -o bonsai-runtime.tar.gz tar -xzf bonsai-runtime.tar.gz # 下载约5.95 GB的GGUF模型： curl -fL https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf/resolve/main/Ternary-Bonsai-2-27B-PTQ1_0.gguf -o Ternary-Bonsai-2-27B-PTQ1_0.gguf # 运行服务器，我使用了8331端口 ./llama-prism-b10685-7dffb15/llama-server \ -m Ternary-Bonsai-2-27B-PTQ1_0.gguf \ --port 8331 -ngl 99 -fa on -c 32768 ``` 然后打开 http://localhost:8331 即可访问内置的llama\-server网页界面（效果非常好）……或者通过API这样发送提示： ``` uvx llm openai endpoint http://127.0.0.1:8331/v1 \ --model bonsai-2-27b --responses hi ``` 在我的M5 Pro上运行速度约为20个token/秒（重启服务器后曾达到44 token/秒，不确定原因），但我很确定有些地方没有正常工作，因为服务器启动时显示了 "`ggml\_metal\_device\_init: \- the tensor API is not supported in this environment \- disabling`"。