speed-benchmark

作者在 RTX 3090 GPU 上优化了 Qwen3.8-27B 模型的推理，通过各种量化和优化技术，实现了单请求高达 99 tps 和批量处理 1150 tps 的性能，并在 GitHub 上发布了更新的代码。