标签
技术帖分享了在 2x RTX 5070 Ti GPU 上使用 vLLM cu129-nightly 运行 Qwen 27B 的性能数据，解码速度最高可达 94-87 tps，GPU KV 缓存达 170k。