标签
OpenAI 宣布推出新的 Residency 项目,为转向 AI 领域的研究人员和工程师提供为期六个月的全职员工路径,参与者作为薪酬员工获得补偿,并为多样化、非常规背景的人才提供支持。
# AI 训练如何实现扩展 来源:[https://openai.com/index/how-ai-training-scales/](https://openai.com/index/how-ai-training-scales/) 我们发现梯度噪声尺度(一个简单的统计指标)可以预测神经网络在广泛任务上的训练可并行性。由于复杂任务往往具有更高的梯度噪声,越来越大的批大小在未来可能会变得有用,从而消除了 AI 系统进一步增长的一个潜在瓶颈。更广泛地说,这些结果表明神经网络训练无需被视为神秘的艺术,而可以被严格化和系统化。
OpenAI 发布了其 Dota 2 游戏系统 OpenAI Five 的基准测试结果,详细介绍了六个主要版本的训练方法,计算需求从 8 到 35 petaflop/s-days 不等,并推出了新的网络架构工具。
OpenAI Scholars 是一个为科学和工程领域代表性不足的群体提供的导师指导和资助项目,帮助他们在三个月内学习深度学习。申请现已开放,滚动审核从 2018 年 3 月 14 日开始,3 月 31 日截止。
OpenAI在播客中讨论了AI训练需要新型超算网络的原因,并介绍了多路径可靠连接(MP-RC)协议以解决同步工作负载的尾部延迟问题。