efficient-training

标签

Cards List
#efficient-training

DiffusionRVGE:基于回归的价值梯度估计的强化学习方法

arXiv cs.AI ↗ · 2026-10-19 缓存

DiffusionRVGE 提出一种基于回归的价值梯度估计方法,通过对中心化奖励与中心化去噪图像进行回归来构建扩散模型的 RL 更新方向,无需奖励导数或穿过采样轨迹的反向传播,在匹配 DiffusionNFT 效果的同时显著降低训练计算成本。

0 人收藏 0 人点赞
#efficient-training

把教师 Token 用在刀刃上:基于成功经验的 On-Policy 蒸馏

arXiv cs.AI ↗ · 2026-10-05 缓存

本文提出了一种基于成功经验的 On-Policy 蒸馏方法(Success-Referenced On-Policy Distillation, SR-OPD),利用学生自身成功的生成轨迹作为参照,有选择地分配教师监督信号。该方法在数学推理基准上仅使用普通 on-policy 蒸馏所需教师输入 token 的 3.46%–5.02%,便取得了相当的推理性能。

0 人收藏 0 人点赞
#efficient-training

Pivot-SD:面向掩码扩散语言模型的高效自蒸馏

Hugging Face Daily Papers ↗ · 2026-10-02 缓存

Pivot-SD(EMNLP 2026 Oral)提出一种面向掩码扩散语言模型的高效自蒸馏方法,通过信息增益识别关键的"pivot"去噪步骤并仅对这些步骤进行奖励/惩罚,仅用200个问题在数学与代码任务上以更少算力超越全序列SFT和在线RL基线。

0 人收藏 0 人点赞
#efficient-training

SMAT:简单高效的合并感知训练

Hugging Face Daily Papers ↗ · 2026-09-27 缓存

SMAT 引入了一种简单高效的合并感知训练方法,该方法联合优化专家损失和模拟合并参数处的预期损失,以最小的计算开销提升合并模型的性能。

0 人收藏 0 人点赞
#efficient-training

@willdepue: 好论文,不接受宽度混合(我认为固定宽度可能更好),感觉他们应该能够获得……

X AI KOLs Following ↗ · 2026-08-21 缓存

该论文介绍了Matryoshka语言模型套件,将多个模型规模(500M、1.5B、3B)嵌套在一个架构中进行联合训练,使较小的模型能够从与最大模型的蒸馏中受益。

0 人收藏 0 人点赞
#efficient-training

Aurora-80K 发布!现代微型语言模型。

Reddit r/LocalLLaMA ↗ · 2026-08-20 缓存

Aurora-80K 是一款现代微型语言模型,拥有8万参数,在4000万令牌上训练,并在 Hugging Face 上发布,提供基准测试结果。

0 人收藏 0 人点赞
#efficient-training

Dion3: Full-Stack Orthogonal Updates

arXiv cs.LG ↗ · 2026-08-13 缓存

Dion3 is a revised Muon optimizer that reduces computational and communication overhead via Gram Newton-Schulz, symmetric GEMM kernels, and megabatching, achieving up to 6x faster optimizer steps while matching or improving loss.

0 人收藏 0 人点赞
#efficient-training

LazyTrain:大语言模型训练中面向零浪费产出优化的有限资源分配

arXiv cs.CL ↗ · 2026-08-13 缓存

LazyTrain 是一个研究系统,通过将检查点选择、激活放置、重计算以及 CPU-GPU-NVMe 通信重叠建模为混合整数调度问题,优化有限硬件上的大语言模型训练,相比匹配基线实现了约 1.24 倍的 TFLOPS 提升。

0 人收藏 0 人点赞
#efficient-training

计算最优并非集群最优:面向稀疏专家混合模型的系统感知扩展

arXiv cs.LG ↗ · 2026-08-12 缓存

本文介绍了MOSAIC,一个联合优化稀疏专家混合模型架构与硬件系统以支持大规模预训练的框架,表明在考虑MFU、通信成本和并行布局时,计算最优的稀疏性并不一定是集群最优的。

0 人收藏 0 人点赞
#efficient-training

大规模解读语言模型隐藏状态

arXiv cs.AI ↗ · 2026-08-12 缓存

OmniLens是一种可扩展的透镜方法,用于解读LLM隐藏状态,通过低秩转换器和Subset-KL减少参数与内存,使得在LLaMA-3.3-70B上能够以显著更低的成本构建包含482个透镜的密集集成。

0 人收藏 0 人点赞
#efficient-training

HiFloat4格式:用于大型语言模型端到端强化学习后训练

arXiv cs.LG ↗ · 2026-07-30 缓存

本文提出了HiFloat4格式和Rollout-ResQ,用于LLM的端到端FP4强化学习后训练,在Qwen2.5模型上实现了与BF16相比仅1.1%的准确率差距。

0 人收藏 0 人点赞
#efficient-training

DomainPilot:基于领域级损失引导的两阶段数据混合优化,用于高效语言模型微调

arXiv cs.LG ↗ · 2026-07-28 缓存

DomainPilot 提出了一种基于领域级损失引导的两阶段框架,用于大语言模型微调中的数据混合优化,在无需增加数据量或训练成本的情况下,在 MMLU-Redux、AIME24、LiveCodeBench v5 和 BFCL v3 上实现了性能提升。

0 人收藏 0 人点赞
#efficient-training

无需更深网络即可加速学习:基于A*的批量选择方法实现高效CNN训练

arXiv cs.LG ↗ · 2026-07-20 缓存

本文提出一种轻量级策略——基于A*的批量选择方法(A*-BS),它将小批量调度视为启发式搜索,以提高CNN训练效率。在MedMNIST任务中,采用A*-BS的简单CNN在准确率和训练速度上均超越了更深的ResNet-18/50基线模型。

0 人收藏 0 人点赞
#efficient-training

@j_golebiowski: 从头开始构建任务特定的本地模型需要多长时间:- 25个手写示例(一个下午)- e…

X AI KOLs Timeline ↗ · 2026-07-15 缓存

描述了一种工作流程,可以在一天之内使用25个手写示例、合成数据扩展、LoRA微调和量化以在CPU上推理,构建一个任务特定的本地模型。

0 人收藏 0 人点赞
#efficient-training

高效长时域学习用于学习优化

arXiv cs.LG ↗ · 2026-07-09 缓存

提出了高效长时域优化(ELO)学习,一种元训练算法,它将计算重新分配给更长的时域,并使用解耦的渐进式专家监督,提高了学习优化器在长展开任务和分布外泛化上的性能。ELO-Celo2在语言建模任务上持续优于AdamW,并与Muon性能相当。

0 人收藏 0 人点赞
#efficient-training

TurnOPD: 使在线策略蒸馏对回合感知以实现高效长程智能体训练

arXiv cs.AI ↗ · 2026-07-08 缓存

TurnOPD 引入了回合级别的预算机制用于长程智能体的在线策略蒸馏,通过自适应 rollout 深度和渐进式回合归一化损失预算解决了传统 OPD 的低效问题,在相同训练预算下实现了更高的准确性。

0 人收藏 0 人点赞
#efficient-training

SiamJEPA:论JEPA中孪生学生编码器的作用

Hugging Face Daily Papers ↗ · 2026-07-04 缓存

本文提出SiamJEPA,它在JEPA模型中使用带有EMA教师网络的遮蔽孪生学生编码器,与单编码器变体和MAE相比,显示出改进的表示可分性和训练效率。

0 人收藏 0 人点赞
#efficient-training

令牌几何

arXiv cs.LG ↗ · 2026-07-03 缓存

本文介绍了 Ember,一种用于嵌入矩阵和语言模型头矩阵的轻量级优化器,它利用梯度几何来提高监督微调、强化学习和预训练中的效率和性能,同时使用的优化器状态远少于 Adam。

0 人收藏 0 人点赞
#efficient-training

DLR: 零推理成本的隐式残差用于低秩预训练

arXiv cs.LG ↗ · 2026-06-30 缓存

引入重复隐式残差(DLR),这是一种仅训练、无参数的插件,用于低秩预训练,可提升从60M到7B参数的LLaMA模型的困惑度,并且训练后可折叠到模型中,推理成本为零。

0 人收藏 0 人点赞
#efficient-training

频域储层计算

arXiv cs.LG ↗ · 2026-06-25 缓存

本文介绍FRESCO,一种完全在频域运行的回声状态网络架构,将密集递归更新的复杂度降至O(N),在基准测试上达到最先进性能的同时降低了计算成本。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈