inference-engineering

对 Philip Kiely 所著《Inference Engineering》的评测，推荐阅读以避免在 AI 推理工程中常见的错误。

本指南解释了AI推理工程这一学科，涵盖了预填充和解码阶段的划分、从封闭模型到开放模型的转变，以及针对延迟、吞吐量和成本的优化技术。