tesla-v100

标签

Cards List
#tesla-v100

我将一对非对称的Tesla V100 PCIe显卡(16 GB + 32 GB)改造成一个令人惊讶的强大本地LLM实验室——使用Qwen3.8 27B Q6和Q8模型,实现了1.38k提示token/s和40解码token/s的速度

Reddit r/LocalLLaMA · 2天前

一位用户使用llama.cpp配合张量分割和其他优化,将一对不匹配的Tesla V100 GPU(16GB和32GB)配置成一个强大的本地LLM实验室,使用Qwen3.8 27B模型实现了高提示和解码速度。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈