标签
演示如何使用Ternary Bonsai 27B Q2_0模型和llama.cpp在16GB RTX 4080 Super上实现256k上下文，生成速度高达141 tok/s。
更新了 Bonsai-27B 和 Ternary-Bonsai-27B 模型，详细介绍了在 llama.cpp 中 CPU、Metal、CUDA、Vulkan 后端的上游合并状态，并讨论了模型的局限性和路线图。