compute-optimal

标签

Cards List
#compute-optimal

强化学习缩放定律的实证研究

arXiv cs.LG ↗ · 2026-10-28 缓存

一项关于演员-评论家算法在 Starpilot 和 Craftax 环境中的强化学习缩放定律的实证研究,表明基于 Elo 的性能指标比平均回合回报更具可预测性,并通过扩大计算规模在 Craftax 中取得了最先进的结果。

0 人收藏 0 人点赞
#compute-optimal

@omarsar0:关于智能体强化学习数据扩展规律的出色论文。如果你正在合成数据用于……这是一篇非常值得一读的优秀论文。

X AI KOLs Following ↗ · 2026-10-20 缓存

该论文提出将 agentic RL 数据分解为**任务**、**环境**、**轨迹**三个维度,并分别拟合各维度的 scaling laws。研究发现,三个维度的扩展指数排序为:**环境多样性 > 任务 > 轨迹**。基于这一结论,作者推导出 Chinchilla 风格的计算最优数据配方,最高可获得 **1.7 倍**的计算效率提升。

0 人收藏 0 人点赞
#compute-optimal

EPIG-Tree:梯度高效强化学习的计算最优分支

arXiv cs.LG ↗ · 2026-09-18 缓存

EPIG-Tree 为强化学习引入了计算最优分支,减少了策略估计中的梯度不确定性,并在控制和语言模型环境中相比 GRPO 有实证改进。

0 人收藏 0 人点赞
#compute-optimal

轻量级多模态模型能否估计LLM推理性能?一项面向计算最优文档推理的研究

arXiv cs.AI ↗ · 2026-08-20 缓存

本研究介绍了BudgetDoc,第一个用于评估文档任务中模型-预算-性能权衡的多模态基准,并开发了DRB,一种轻量级估计器,用于预测推理性能以优化计算分配并降低LLMs成本。

0 人收藏 0 人点赞
#compute-optimal

Abra:扩散图像训练的缩放研究

Hugging Face Daily Papers ↗ · 2026-08-18 缓存

本文介绍了针对文本到图像扩散模型的系统性缩放律研究,表明它们可以可预测地缩放,但为了达到最佳训练,每个参数所需的数据远多于语言模型。

0 人收藏 0 人点赞
#compute-optimal

从零开始的原生多模态预训练扩展

Hugging Face Daily Papers ↗ · 2026-07-24 缓存

本文研究了原生多模态预训练的扩展性质,推导了在固定预算下的计算最优模型大小和令牌数量,并揭示了语言和多模态目标的不同扩展行为。

0 人收藏 0 人点赞
#compute-optimal

如何分配你的Token?训练步数与批次大小的缩放定律

arXiv cs.LG ↗ · 2026-07-03 缓存

提出了一种三项缩放定律,将模型大小、训练步数和批次大小解耦,使得用更少的运行次数即可进行稳健拟合,并推导出次优批次大小的缩放定律。

0 人收藏 0 人点赞
#compute-optimal

@lilianweng: 一篇超级迟到的(3年以上?)关于扩展定律的帖子。计算很昂贵。扩展定律是一种帮助我们推理…

X AI KOLs Timeline ↗ · 2026-06-25 缓存

Lilian Weng的博客文章全面概述了深度学习中的扩展定律,涵盖了它们的推导、计算最优分配以及Kaplan等人与Chinchilla之间的争论。

0 人收藏 0 人点赞
#compute-optimal

数据过滤的苦涩教训(1分钟阅读)

TLDR AI ↗ · 2026-05-21 缓存

本文研究了大模型预训练中的数据过滤,发现在高计算、数据稀缺的情况下,过滤可能并非必要,甚至可能有害;充分训练的大模型能从名义上的低质量数据中受益。

1 人收藏 1 人点赞
#compute-optimal

Compute Optimal Tokenization (2分钟阅读)

TLDR AI ↗ · 2026-05-13 缓存

本文通过训练近1300个模型,系统推导了压缩感知的神经缩放定律,证明了广泛使用的每参数20个词元的启发式方法是由特定分词器造成的。作者提出了基于字节的分词器无关缩放定律,为跨多样语言和模态的计算高效训练提供了新框架。

0 人收藏 0 人点赞
#compute-optimal

数据受限训练的规定性缩放定律

Hugging Face Daily Papers ↗ · 2026-05-02 缓存

一种考虑数据重复效应的修正缩放定律,为数据受限场景提供了计算最优的训练策略,表明超出某一界限后,进一步重复会适得其反,计算资源应更明智地用于模型容量。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈