我写了一本免费的开源书，关于如何让ML模型真正快速，从硅片到智能体 [P]

Reddit r/MachineLearning 新闻
machine-learning performance-engineering open-source systems-optimization edge-ai profiling compilers

摘要

一本免费的开源书，题为《How to Make Your Model Fast》，从硬件到智能体提供了高效机器学习的系统视角，以帮助优化模型性能。

过去几个月，我一直在编写一本我希望在开始ML性能工程工作时就有的书。它叫做《How to Make Your Model Fast: A Systems View of Efficient Machine Learning, from Silicon to Agents》。基本思想是减少FLOPs并不一定会让模型更快。在优化任何东西之前，你需要理解系统实际受到什么限制。本书从屋顶线分析和硬件开始，然后逐步深入到内核、编译器、量化、剪枝、视觉、设备端LLM、机器人、性能分析、服务，最后到智能体。目标是建立直觉，以便查看模型和硬件，并推理：这可能运行多快？我是计算、带宽、内存还是系统受限？哪种优化实际上会移动这个限制？量化、剪枝或内核优化在这里是否值得做？当同样的思维应用于服务和智能体系统时会发生什么？整本书是免费和开源的：https://github.com/usamahz/make-your-model-fast 非常欢迎从事ML系统、推理、编译器、边缘AI或性能工程的人提供反馈或贡献。如果您觉得有用，一个 ⭐ 将不胜感激！
查看原文

相似文章

优化模型以快速进行代码生成（8分钟阅读）

TLDR AI

Morph LLC描述了三种关键技术——基于编码输出训练投机模型、在廉价GPU上自动搜索内核、以及编写自定义互连——以大幅加速像Qwen和DeepSeek这样的开放模型在编码代理工作负载上的运行，实现了最高3倍的投机解码加速，并在7000美元的GPU上达到97-162 tok/s。