redhat

Red Hat 演示了使用推测解码可以将 LLM 推理速度从 145 tokens/秒提升至 424 tokens/秒，且使用相同 H100 硬件，质量无损失，凸显了面向生产服务的一项重要优化。