标签
FLAMIA 提出了一族面向 NVIDIA Blackwell GPU 的混合精度注意力内核，利用 MXFP8 与 NVFP4/FP8 路径，在避免因果信息泄漏的同时加速 Transformer 训练，在 B200/B300 上实现约 1.06–1.42 倍的前向与反向注意力加速。
Metis-1.6 技术报告介绍了 Praxis（2.94B）和 Logos（10.23B）这两个 MoE 语言模型，它们采用混合 Mamba-2/注意力架构，由一名研究人员使用约 1.02T 个 token 训练而成，在数学性能上达到帕累托最优，同时公开详述了训练中的失败及修复方法。
TrainBridge 是一个智能体框架，可将 GPU 编译优化指导迁移到昇腾 NPU 训练程序中。它从 GPU 执行过程中提取优化意图，并通过性能分析迭代改进 NPU 程序，在四种工作负载上实现了平均 1.7 倍的加速，并在 27 项 Modded-NanoGPT 竞速记录上实现了近 2.0 倍的加速。
本文针对九个模型，精确测量了通过截断反向传播训练循环 Transformer 时损失的权重梯度量，发现梯度损失主要由靠近输出端的部分决定，在微调过程中逐渐减小，而且这种测量方法并未明显优于 Parcae 规则等无需测量的成本启发式方法。
该论文研究了在均匀扩散语言模型（UDLM）中循环早期 Transformer 层的方法，在不改变训练目标和采样器的前提下，以显著更少的训练 FLOPs 达到相同的验证 NLL，并在推理时降低生成困惑度。
本文提出了未来片段预测（Future Chunk Prediction，FCP），这是一种用于自回归视频扩散模型的辅助目标，可在不提供中间视觉上下文的情况下预测时间上相隔的片段，从而提升物理合理性并减少训练计算量。该方法无需额外的预训练视觉编码器，并启示了更具结构化的表示空间对自回归世界模型的潜在价值。
一项涵盖约600次训练运行的规模扩展研究发现，在计算量相同的情况下，对循环 Transformer 采用完整的时间反向传播（BPTT）优于截断方案。其中，两个均经过完整训练的循环是计算最优配置，其参数量比非循环模型少约27%，性能却更优。
SWIFT 提出一种自引导的弱到强扩散模型训练方法，通过将回归目标外推偏离冻结的弱去噪器来降低误差和训练成本，且不增加推理开销。实验在 CIFAR-10 和 ImageNet-256 上验证，ImageNet-256 某配置以约一半训练算力超越基线最佳 FID，RAEv2 上无引导达到 FID 1.15。
FlashMask-3 为长上下文训练引入了针对 Hopper 架构优化的掩码感知稀疏注意力内核，以及零通信的分布式掩码定位机制，相比 FlashMask、FlexAttention、MagiAttention 和 Megatron-Core 基线实现了显著的 TFLOPs 和吞吐量提升，其中在 128 张 H100 GPU 上以 128K 上下文训练 118B MoE 模型时，端到端加速达到 7.3%-11.0%。
微型机器人导航的分钟级训练，一篇发表于 Nature Machine Intelligence 的研究，探讨如何在数分钟内完成微型机器人导航策略的训练。
该论文提出 Elastic Expert Routing，通过从以 k 为中心的局部离散分布中随机采样激活专家数量，平滑传统 top-k 路由的硬边界，在保持计算成本不变的前提下提升稀疏 MoE 模型在微调与从头预训练场景下的下游表现。
EDiS 提出一个边缘不相交子图稀疏化框架，将一次性结构提取与逐轮图组合分离，从而在降低 GNN 稀疏化训练开销的同时保持拓扑多样性，并在 19 个基准上取得最佳平均成绩。
论文提出 Self-Retrospection Distillation (SRD)，通过让策略在行动前预测可能遇到的陷阱，并利用事后轨迹进行自蒸馏来对齐前瞻预测，解决了 GRPO 类方法中大量全同奖励组导致零梯度的问题；在 2B 模型 98% 全失败组的场景下，GRPO+SRD 将训练成功率从 0% 提升至 60.6%。
本文提出了 ACES（自适应覆盖感知高效采样）框架，这是一种用于隐式神经表示的结构化采样方法。该框架通过自适应空间划分将区域覆盖与重要性加权解耦，从而在科学场学习任务上实现更快的收敛速度和更低的误差。
Memorizon 通过相机共视关系让每个被评分的片段检索一个共享的、有界的 top-K 隐变量库，从而在流式世界模型中将长跨度监督与注意力解耦，以极低的额外开销实现超出上下文窗口的一致性重访。与滑动窗口基线相比，检索将重访一致性提升最高达 30%，且结果表明模型确实利用了检索到的隐变量。
该论文介绍了CARE，这是一个针对扩散模型的条件感知表示正则化框架，通过基于条件相似性动态调节特征分布来提高样本质量和训练效率。在经验上，它在类别到图像和文本到图像任务中显著降低了FID并加快了收敛速度。
Linum AI 推出 JiT-DDT，这是一种新颖的编码器-解码器架构，训练文本到图像模型的速度比之前的方法快3.6倍，同时生成更高分辨率的图像。
Xing4.0-29B-A4B 是一个开源的290亿参数大型语言模型，针对智能体任务和 Ascend NPU 进行了优化，采用 MoE 架构，实现高训练效率，并在基准测试中取得有竞争力的结果。
FlashREINFORCE 引入了一种无批评器、单次采样的异步强化学习框架，用于智能语言模型，通过立即从每个轨迹学习来提高稳定性和效率。
LeanGRPO通过引入无重计算的训练计划，消除扩散强化学习方法中的冗余重计算，在保持优化目标的同时实现高达1.83倍的速度提升。