latency-throughput

本文解释了LLM推理中的有效前沿概念，涵盖了延迟、吞吐量和成本之间的权衡，并概述了在部署中管理或提高效率的技术。