systems

分享一份GitHub上的机器学习系统笔记，涵盖大语言模型训练推理相关的分布式计算、并行化、量化和PyTorch内部机制，适合对ML系统感兴趣的学习者。

讨论了强化学习训练基础设施中沙盒启动延迟和扩展能力如何显著影响训练性能，引用了SemiAnalysis对匹配训练器和生成器吞吐量的详细分析。

开发者从零开始用C语言构建了一个多客户端终端聊天应用，使用原始TCP套接字和select()进行I/O多路复用，作为构建EduOS（一个面向非洲学校的隐私优先、AI原生操作系统）的一步。

ObjectCache提出使用S3兼容的对象存储来实现LLM KV缓存的重用，以降低成本并增加容量，同时通过协同设计的存储协议和传输调度将延迟开销降至最低。实验表明，对于64K上下文，相比本地DRAM仅增加5.6%的延迟。

一场关于LLM部署技术的讲座，涵盖AWQ、vLLM、FlashAttention、量化和激活平滑，以实现高效服务。

本文介绍了 DMI-Lib，这是一种高速深层模型检查器，通过将监控与推理热点路径解耦，实现了大语言模型推理的高效内部可观测性。

一本来自哈佛大学的关于机器学习系统的开源教科书，涵盖人工智能系统工程的原则与实践，配有配套实验和套件。