ml-systems

AsmEvo 是一个用于AMD GPU内核的智能汇编级优化器，通过提出低级编辑并验证与原始二进制文件的功能等价性来提高性能，在MI308X GPU上实现了高达3.88倍的加速。

作者分享了他们在过去6-8个月里在ML系统和AI基础设施方面的工作，包括一个轻量级的Python LLM推理引擎（tachyon），在消费级硬件上通过连续批处理和前缀缓存实现了每秒600+ tokens，还有关于CUDA/CUTE DSL和集体通信的博客文章，以及对SGLang和vLLM的贡献。

CMU机器学习系统课程的一本新书教授面向ML系统的现代GPU编程，涵盖Blackwell架构、GEMM和FlashAttention，使用TIRx Python DSL。

一个精选的视频引导课程和全面的资源列表，用于学习ML系统和LLM基础设施，包括论文、课程和教程。

Kyle Kingsbury讨论了机器学习系统中人类问责的新兴角色，包括内容审核员、法律代表和合规官员，这些人可能对AI系统的故障承担责任。