标签
Prime Intellect 让 DeepSeek 的 MegaMoE 内核变得可训练，通过在 MoE 层融合计算与通信，在 Blackwell 和 Hopper GPU 上实现了比 TorchTitan 最高快 55% 的 MoE 训练性能，并支持 BF16、MXFP8 和 FP8 精度。
Soft-MTP 提出一种 KL 梯度恢复技巧，去除多token预测训练中的噪声残差梯度，在无额外开销下改进困惑度、投机解码与推理能力。
该论文提出了一种经验性加法幂律，将长上下文持续预训练（LCCP）的收益与模型规模及短/长上下文token预算关联起来，并引入Constant-Last4协议实现稳定监控。实验表明LCCP的收益在评测范围内无明显饱和迹象，主张不应过早停止长上下文持续预训练。
该论文提出 FlashNext-RL——一个针对 Qwen3.8-Flash-Next 的模型专用长时程智能体强化学习训练优化框架，基于 prime-rl 与 vLLM，在单个 8×B200 节点上将 BF16 全模型训练吞吐量从约 395 词元/秒/GPU 提升至 4,438 词元/秒/GPU（131K 词元上下文），并支持实时软件工程强化学习训练运行。
该论文提出ΣΔ-Sampler优化器，将二值和三值神经网络训练损失映射为高阶Ising模型能量，并通过噪声整形与退火实现高效的边缘设备训练，在CIFAR-10、ImageNet-1k和MatMul-free语言模型上验证了接近全精度的精度，同时将训练内存减少超过50%、速度提升一个数量级。
本文介绍了两种注意力机制：CoWindow 注意力和 MassAlloc 注意力，它们优化了 Transformer 中的计算分配，在基准测试中实现了显著的加速和训练 FLOPs 的减少。
本文系统分析了语音标记语言模型中基于长度的训练，表明在批次组成和标记暴露固定的情况下，短到长排序无独立益处，并评估了损失归一化的影响。
Temperon是一种训练方法，仅在训练的最终阶段使用锐度感知最小化（SAM），以实现实时时钟时间减少三分之一的全时SAM质量，已在视觉和语言任务上验证。
本文介绍了 HarnessBandit，这是一种在线调度器，用于在多个环境中训练语言模型代理，通过联合优化可学习性和可迁移性信号，提升在 PinchBench 和 ClawEval 等基准测试上的性能。
NanoForecast v0.5 是一个拥有 650 万参数的时间序列预测模型，通过优化训练流程，实现了与更大的模型（如 TimesFM）相竞争的性能，使得 MASE 降低了 43.8%。模型和代码以 Apache 2.0 协议发布。
本文探讨了缓解Forward-Forward算法中睡眠剥夺效应的方法，通过替代激活和损失优化等技术，在MNIST和Fashion-MNIST数据集上显示了2%至62%的准确率提升。
本文提出HybridAL，一种主动学习方法，通过稳定信号动态切换重训练与微调，从而提升文本分类任务的效率与性能。
这篇博客文章识别了超稀疏MoE训练中的静默专家死亡失败模式，并引入了LM Loss作为辅助损失（LLAL）来拯救低层专家，改善了验证损失和下游性能。
ERASE 引入了一种新颖的训练调度，通过分离子图将反向传播与前向工作重叠，在大规模推荐系统中将吞吐量提高高达 9.51%，同时保持模型性能。
本文提出了HiFloat4格式和Rollout-ResQ，用于LLM的端到端FP4强化学习后训练，在Qwen2.5模型上实现了与BF16相比仅1.1%的准确率差距。
一份关于设计有效机器学习实验的详细指南，强调从明确的研究问题开始，培养研究品味，并扩展结果。基于作者在Poolside每周运行约100次实验的经验。
Anthropic 的 Mythos 系统在优化训练代码方面实现了 52 倍的加速，而人类在同任务上 4-8 小时内只能实现 4 倍加速，但需要注意的是，绝对倍数在很大程度上取决于起始代码的质量。同类比较显示，过去一年中各模型的改进约为 3 倍到 52 倍。
本文提出PAT，一种自适应张量并行方法，在同步RLHF训练的生成长阶段动态重构TP配置，以缓解长尾生成瓶颈。在LLaMA3.1-8B和Qwen3-14B上的评估显示，生成延迟最多降低34.6%，端到端迭代延迟最多降低27.2%。
一种面向开源 RL 训练引擎的全新优化技术在训练过程中引入了提示缓存，通过减少冗余计算，在长提示、短回复负载场景下实现了高达 7.5 倍的加速。
Photoroom的 PRX Part 3 演示了如何通过结合优化的架构和训练技术（包括感知损失、TREAD 令牌路由和 Muon 优化器）在24小时内训练文本到图像模型。