标签
一份关于设计有效机器学习实验的详细指南，强调从明确的研究问题开始，培养研究品味，并扩展结果。基于作者在Poolside每周运行约100次实验的经验。
Anthropic 的 Mythos 系统在优化训练代码方面实现了 52 倍的加速，而人类在同任务上 4-8 小时内只能实现 4 倍加速，但需要注意的是，绝对倍数在很大程度上取决于起始代码的质量。同类比较显示，过去一年中各模型的改进约为 3 倍到 52 倍。
本文提出PAT，一种自适应张量并行方法，在同步RLHF训练的生成长阶段动态重构TP配置，以缓解长尾生成瓶颈。在LLaMA3.1-8B和Qwen3-14B上的评估显示，生成延迟最多降低34.6%，端到端迭代延迟最多降低27.2%。
一种面向开源 RL 训练引擎的全新优化技术在训练过程中引入了提示缓存，通过减少冗余计算，在长提示、短回复负载场景下实现了高达 7.5 倍的加速。
Photoroom的 PRX Part 3 演示了如何通过结合优化的架构和训练技术（包括感知损失、TREAD 令牌路由和 Muon 优化器）在24小时内训练文本到图像模型。