cuda-offload

标签

Cards List
#cuda-offload

[指南] Ternary Bonsai 2 终于可以在 ik_llama.cpp 上 100% 正常运行了(原生 CUDA 卸载 + 高速 CPU -rtr)

Reddit r/LocalLLaMA ↗ · 2026-10-31

ik_llama.cpp 现已全面支持 PrismML 的 Ternary Bonsai 2,具备原生 CUDA 卸载、无损权重重打包,以及通过 -rtr 1 实现的快速 CPU 提示词处理功能,消除了此前的符号张量瓶颈。该帖子提供了一份配置指南,涵盖 PQ2_0 转换和推荐的命令行参数。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈