标签
DiffusionRVGE 提出一种基于回归的价值梯度估计方法,通过对中心化奖励与中心化去噪图像进行回归来构建扩散模型的 RL 更新方向,无需奖励导数或穿过采样轨迹的反向传播,在匹配 DiffusionNFT 效果的同时显著降低训练计算成本。
本文提出了一种基于成功经验的 On-Policy 蒸馏方法(Success-Referenced On-Policy Distillation, SR-OPD),利用学生自身成功的生成轨迹作为参照,有选择地分配教师监督信号。该方法在数学推理基准上仅使用普通 on-policy 蒸馏所需教师输入 token 的 3.46%–5.02%,便取得了相当的推理性能。
Pivot-SD(EMNLP 2026 Oral)提出一种面向掩码扩散语言模型的高效自蒸馏方法,通过信息增益识别关键的"pivot"去噪步骤并仅对这些步骤进行奖励/惩罚,仅用200个问题在数学与代码任务上以更少算力超越全序列SFT和在线RL基线。
SMAT 引入了一种简单高效的合并感知训练方法,该方法联合优化专家损失和模拟合并参数处的预期损失,以最小的计算开销提升合并模型的性能。
该论文介绍了Matryoshka语言模型套件,将多个模型规模(500M、1.5B、3B)嵌套在一个架构中进行联合训练,使较小的模型能够从与最大模型的蒸馏中受益。
Aurora-80K 是一款现代微型语言模型,拥有8万参数,在4000万令牌上训练,并在 Hugging Face 上发布,提供基准测试结果。
Dion3 is a revised Muon optimizer that reduces computational and communication overhead via Gram Newton-Schulz, symmetric GEMM kernels, and megabatching, achieving up to 6x faster optimizer steps while matching or improving loss.
LazyTrain 是一个研究系统,通过将检查点选择、激活放置、重计算以及 CPU-GPU-NVMe 通信重叠建模为混合整数调度问题,优化有限硬件上的大语言模型训练,相比匹配基线实现了约 1.24 倍的 TFLOPS 提升。
本文介绍了MOSAIC,一个联合优化稀疏专家混合模型架构与硬件系统以支持大规模预训练的框架,表明在考虑MFU、通信成本和并行布局时,计算最优的稀疏性并不一定是集群最优的。
OmniLens是一种可扩展的透镜方法,用于解读LLM隐藏状态,通过低秩转换器和Subset-KL减少参数与内存,使得在LLaMA-3.3-70B上能够以显著更低的成本构建包含482个透镜的密集集成。
本文提出了HiFloat4格式和Rollout-ResQ,用于LLM的端到端FP4强化学习后训练,在Qwen2.5模型上实现了与BF16相比仅1.1%的准确率差距。
DomainPilot 提出了一种基于领域级损失引导的两阶段框架,用于大语言模型微调中的数据混合优化,在无需增加数据量或训练成本的情况下,在 MMLU-Redux、AIME24、LiveCodeBench v5 和 BFCL v3 上实现了性能提升。
本文提出一种轻量级策略——基于A*的批量选择方法(A*-BS),它将小批量调度视为启发式搜索,以提高CNN训练效率。在MedMNIST任务中,采用A*-BS的简单CNN在准确率和训练速度上均超越了更深的ResNet-18/50基线模型。
描述了一种工作流程,可以在一天之内使用25个手写示例、合成数据扩展、LoRA微调和量化以在CPU上推理,构建一个任务特定的本地模型。
提出了高效长时域优化(ELO)学习,一种元训练算法,它将计算重新分配给更长的时域,并使用解耦的渐进式专家监督,提高了学习优化器在长展开任务和分布外泛化上的性能。ELO-Celo2在语言建模任务上持续优于AdamW,并与Muon性能相当。
TurnOPD 引入了回合级别的预算机制用于长程智能体的在线策略蒸馏,通过自适应 rollout 深度和渐进式回合归一化损失预算解决了传统 OPD 的低效问题,在相同训练预算下实现了更高的准确性。
本文提出SiamJEPA,它在JEPA模型中使用带有EMA教师网络的遮蔽孪生学生编码器,与单编码器变体和MAE相比,显示出改进的表示可分性和训练效率。
本文介绍了 Ember,一种用于嵌入矩阵和语言模型头矩阵的轻量级优化器,它利用梯度几何来提高监督微调、强化学习和预训练中的效率和性能,同时使用的优化器状态远少于 Adam。
引入重复隐式残差(DLR),这是一种仅训练、无参数的插件,用于低秩预训练,可提升从60M到7B参数的LLaMA模型的困惑度,并且训练后可折叠到模型中,推理成本为零。
本文介绍FRESCO,一种完全在频域运行的回声状态网络架构,将密集递归更新的复杂度降至O(N),在基准测试上达到最先进性能的同时降低了计算成本。