标签
本文介绍了HYMELL，一种混合分析与机器学习框架，用于估算LLM在预填充（prefill）和解码（decode）阶段的推理延迟与能耗，并在NVIDIA H100上进行了验证，对LLaMA 3 8B的误差低于5%。