标签
本文介绍了HYMELL，一种混合分析与机器学习框架，用于估算LLM在预填充（prefill）和解码（decode）阶段的推理延迟与能耗，并在NVIDIA H100上进行了验证，对LLaMA 3 8B的误差低于5%。
本文提出了一种分析结构化、经验校准的方法，用于在不直接测量的情况下估算NVIDIA H100 GPU上LLM推理的能耗，该方法将预填充和解码阶段分开，并将能耗分解为计算、参数访问、KV缓存写入和注意力读取组件。
本文介绍了WattLayer，一种与任务无关的逐层能量估算模型，用于神经网络。该模型在295种架构的超过10万个层上进行了评估，实现中位误差19.6%，优于现有最先进方法。