gpu-p2p

标签

Cards List
#gpu-p2p

1800美元(GPU成本,使用P2P运行Qwen/Qwen3.6-27b-FP8,262K上下文,BF16 KV缓存,55 tok/s)

Reddit r/LocalLLaMA · 2天前

一位用户分享了使用4块RTX 5060 Ti 16GB显卡(支持P2P)运行Qwen3.6-27B-FP8的配置,在262K上下文下实现55 tok/s的速度,强调单用户推理成本仅约1800美元。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈