标签
Wave Forcing 为流式视频生成引入了波前调度的训练与执行框架,使后续视频块在前序块尚未完成去噪时即可开始去噪,同时实现通信与计算的重叠。在 Wan2.1-T2V-1.3B 上,它达到了与 Rolling Forcing 相当的质量,并在 8×H200 上实现 147.6 DiT FPS,单卡端到端吞吐量提升至 7.07 倍。
ChronoReplay 是一个针对流式视觉-语言模型的空间推理训练框架,通过按时间顺序组织异构空间监督并进行族平衡训练,缓解接口锁定问题,在 OST-Bench 等基准上取得显著提升。
TorchTitan 发布重大性能与架构更新,新增对 DeepSeek-V4、Qwen3.5、Kimi K3、Muse Spark Open 等 SOTA 模型的完整 5D 并行支持,并推出统一后训练与智能体工作负载的 TitanRL 框架,FlexShard 与 torch_checkpointing 大幅提升大规模训练效率。
ProgAgent 提出一个完整的程序化工具调用(PTC)训练框架,通过可验证的长时程任务合成、轻量级 PTC 运行时和两阶段训练配方,显著优于同规模基线,在 LOCA-bench 64k token 状态下达 30.7% 通过率而基线为零。
该论文提出了 SpatialASM 框架,通过新视角合成支架训练大型视觉语言模型,使其能够主动规划与任务相关的视角,并在脑海中想象缺失的空间证据,从而在推理时无需额外视角的情况下,提升四种骨干模型在七项基准测试中的空间推理能力。
SALD 提出了一种自参考训练框架,通过在两个噪声水平下用同一模型评估图像-文本对来获取训练信号,无需外部教师网络或额外可训练参数,包含优势引导扩散(AGD)、时间优势记忆(TAM)和谱优势分解(SAD)三个组件,在多个架构和数据集上持续提升了生成质量。
论文提出了 Hermes——一系列可配置的框架,让模型能够在推理时的算力之间灵活分配上下文;同时提出了 Hermes-Learn——一个两阶段框架,训练模型自适应地做出这些上下文推理决策,从而缩小了小型开源模型与更大模型之间的差距。
本文提出一种基于 rollout 的训练框架(Anchor-Label Relabelling 与 In-Rollout Anchors),用于在离策略语料上训练的推测解码块草稿模型中恢复完整的监督信号,在不改动训练文本的情况下,将贪心解码下的接受长度较 DFlash 最多提升 36.5%。
本文介绍了GUI-SD-v2,一个用于多轮GUI代理的两阶段在策略自蒸馏框架,该框架增强了特权跟随和指导能力,在AndroidWorld和MobileWorld基准测试中表现出色。
论文提出了抽象令牌课程(ATC),一种课程学习框架,能够在无需直接监督的情况下,在大型语言模型(LLMs)中引出有效的连续中间表示,并提供了理论和实验证据。
EnvCraft是一个自动化框架,用于合成可执行环境,以解决Agentic RL训练中的稀缺性问题,并在使用Qwen模型的claw-like和通用工具使用基准测试中展示了显著的性能提升。
RAPTOR是一个角色感知的框架,用于专家混合模型的差分隐私微调,解决了诸如裁剪干扰和噪声稀释等失败模式,并在实验中显示出相对于标准差分隐私基线的改进。
本文介绍了TKFQA,一个包含10,130个基于表格、文本和知识图谱的问答对的反事实基准,用于评估LLM的事实一致性和顺序稳健推理,并提出了ORLF,一种训练框架,可提高推理链准确性并降低对输入顺序的敏感性。
iFAN是一个训练框架,通过将查询排序与掩码质量对齐,并将中间层的预测蒸馏到最终层,来改进用于分割的掩码Transformer,从而在多个基准上取得一致的性能提升。
MiniWorld 是一个可复现的框架,用于从零训练视频世界模型,采用带流匹配的块因果视频扩散变换器,能够实现高效的流式生成,并可在单台 8-GPU 服务器上数天内完成训练。
Molt是一个基于PyTorch原生的智能体强化学习训练框架,设计简洁紧凑,易于修改,同时实现了与基于Megatron的框架相当的性能。
介绍了一个训练框架,以模型无关和任务环境无关的方式提升任务型LLM的能力,并在Terminal Bench和SWE-Bench上展示了结果。
PRIME-RL是一个用于大规模异步强化学习的框架,设计上易于定制,可扩展至1000+块GPU,并支持多种模型和环境。
介绍了Pyligent,一种利用任务验证器标记失败并在推理中教导大语言模型回溯的训练框架,提高了隐藏图、数独和积木世界的求解率。
DeepSeek 开源了 DeepSpec,这是一个用于训练和评估推测解码草稿模型的全栈代码库,可实现 60-85% 的生成速度提升。它包含数据准备、训练和评估脚本,支持多种草稿模型算法(DSpark、DFlash、Eagle3)。