compute-efficiency

标签

Cards List
#compute-efficiency

动态分配计算预算给困难问题集,并通过Qwen-35B-A3B演化各模块,使性能在HLE上接近GPT-5.4-xHigh

Reddit r/LocalLLaMA · 10小时前

一种使用Qwen-35B-A3B动态分配计算预算给困难问题的方法,在HLE基准测试上达到了接近GPT-5.4-xHigh的性能。

0 人收藏 0 人点赞
#compute-efficiency

提示缓存,但用于 RL 训练——在长提示/短回复负载上实现 7.5 倍加速

Reddit r/LocalLLaMA · 4天前

一种面向开源 RL 训练引擎的全新优化技术在训练过程中引入了提示缓存,通过减少冗余计算,在长提示、短回复负载场景下实现了高达 7.5 倍的加速。

0 人收藏 0 人点赞
#compute-efficiency

神经语言模型的缩放规律

OpenAI Blog · 2020-01-23 缓存

基础性实证研究,展示了语言模型性能与模型规模、数据集大小和计算预算之间的幂律缩放关系,对最优训练资源分配和样本效率有重要启示。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈