multi-gpu

标签

Cards List
#multi-gpu

llama.cpp b9095 发布!支持双 Blackwell PCIe 显卡无需 NCCL 的张量并行

Reddit r/LocalLLaMA · 17小时前

llama.cpp b9095 版本引入了针对双 Blackwell PCIe GPU 的免 NCCL 张量并行功能,使得在不依赖 NCCL 的情况下也能实现高效的多 GPU 推理。

0 人收藏 0 人点赞
#multi-gpu

大家在 Qwen3.6 27b 上跑出来的速度是多少?

Reddit r/LocalLLaMA · 2026-04-22

用户基准测试 Qwen3.6-27B-Q8_0,在 3 块混合 GPU 上通过 llama.cpp 以约 13 tokens/sec 运行 128k 上下文,询问该性能是否典型。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈