标签
EPIG-Tree 为强化学习引入了计算最优分支，减少了策略估计中的梯度不确定性，并在控制和语言模型环境中相比 GRPO 有实证改进。
本研究介绍了BudgetDoc，第一个用于评估文档任务中模型-预算-性能权衡的多模态基准，并开发了DRB，一种轻量级估计器，用于预测推理性能以优化计算分配并降低LLMs成本。
本文介绍了针对文本到图像扩散模型的系统性缩放律研究，表明它们可以可预测地缩放，但为了达到最佳训练，每个参数所需的数据远多于语言模型。
本文研究了原生多模态预训练的扩展性质，推导了在固定预算下的计算最优模型大小和令牌数量，并揭示了语言和多模态目标的不同扩展行为。
提出了一种三项缩放定律，将模型大小、训练步数和批次大小解耦，使得用更少的运行次数即可进行稳健拟合，并推导出次优批次大小的缩放定律。
Lilian Weng的博客文章全面概述了深度学习中的扩展定律，涵盖了它们的推导、计算最优分配以及Kaplan等人与Chinchilla之间的争论。
本文研究了大模型预训练中的数据过滤，发现在高计算、数据稀缺的情况下，过滤可能并非必要，甚至可能有害；充分训练的大模型能从名义上的低质量数据中受益。
本文通过训练近1300个模型，系统推导了压缩感知的神经缩放定律，证明了广泛使用的每参数20个词元的启发式方法是由特定分词器造成的。作者提出了基于字节的分词器无关缩放定律，为跨多样语言和模态的计算高效训练提供了新框架。
一种考虑数据重复效应的修正缩放定律，为数据受限场景提供了计算最优的训练策略，表明超出某一界限后，进一步重复会适得其反，计算资源应更明智地用于模型容量。