标签
AgentZip 是一种专为 AI 智能体沙箱设计的内存压缩系统，通过利用沙箱间的冗余并结合 LLM 等待期进行压缩，可将内存使用量最多减少 8.7 倍。
Elon Musk 宣布 Grok Build，这款工具旨在通过移除 Windows 笔记本电脑上预装的冗余软件，帮助用户掌控自己的电脑。
本文介绍了一种优化 DeepSeek-V4-Pro（一个1.6万亿参数的 MoE 模型）在 H20 GPU 上服务的方法，通过场景特定的配置和优化实现了显著的性能提升。
本文介绍了EMA，一种面向学习型系统的模型自适应系统，能够在降低训练和标注成本的同时，提升系统在不断演化环境中的性能。
本文介绍了 DisagMoE，一种 MoE 训练系统，通过将注意力层和前馈网络（FFN）层解耦到不同的 GPU 组来优化计算与通信的重叠。该系统基于 Megatron-LM 实现，通过解决节点间通信瓶颈，在 H800 集群上实现了高达 1.8 倍的加速。
NVIDIA和Unsloth发布了一篇技术指南，详细介绍了三种底层优化方法，可将LLM微调速度提升高达25%，包括打包序列缓存、双缓冲检查点存储和优化的MoE路由。该指南提供了深入的系统级解释和基准测试，面向机器学习工程师和开发者。
作者寻求Oracle Cloud的替代方案，以在‘始终免费’套餐中托管全天候的OpenClaw实例，讨论了Google Cloud e2-micro和Fly.io等选项，并询问如何在1GB RAM内运行的优化技巧。
Lightseek发布TokenSpeed，一款面向智能体工作负载优化的高性能LLM推理引擎，采用编译器驱动的并行技术和先进的内核优化，相关技术已被vLLM采纳。
AReaL是一个用于LLM推理的完全异步强化学习系统，相比同步系统实现了高达2.57倍的训练加速，同时保持或提升了性能。它将生成与训练解耦以提高GPU利用率，并包含诸如staleness-enhanced PPO等优化。
GTweak 是一款开源的 Windows 系统优化和隐私工具，允许用户在激活 Windows 的同时禁用遥测、更新和非必要服务。