标签
本文聚焦于利用 OpenAI 的 CLIP 模型作为生成式模型引导机制的新兴 AI 生成艺术场景，展示了多种文本转图像的生成实例。
本文解析了论文《Deep Compositional Question Answering with Neural Module Networks》中提出的神经模块网络（NMN）架构，详细阐述了其如何通过将问题分解为模块化的步骤来处理视觉问答任务中的组合结构。
# 用于自动定理证明的生成语言建模 来源: [https://openai.com/index/generative-language-modeling-for-automated-theorem-proving/](https://openai.com/index/generative-language-modeling-for-automated-theorem-proving/) OpenAI## 摘要 我们探索了基于 Transformer 的语言模型在自动定理证明中的应用。这项工作的动力来自于一种可能性，即自动定理证明器与人类相比的一个主要局限——原始内容的生成
OpenAI Scholars 2020 计划落幕，学者们展示了最终项目成果，包括调查 GPT-2 语法表示、模型可解释性和医学应用（如癫痫发作预测）的研究。该计划为机器学习领域代表不足的群体提供奖学金和指导。
本文详细介绍了PyTorch分布式数据并行模块的设计与优化，重点阐述了梯度分桶（gradient bucketing）和计算-通信重叠等技术，这些技术使系统在使用256个GPU时实现了接近线性的可扩展性。
# Jukebox 来源：[https://openai.com/index/jukebox/](https://openai.com/index/jukebox/) 自动音乐生成的历史已有半个多世纪\.[1](https://openai.com/index/jukebox/#citation-bottom-1),[2](https://openai.com/index/jukebox/#citation-bottom-2),[3](https://openai.com/index/jukebox/#citation-bottom-3),[4](https://openai.com/index/jukebox/#citation-bottom-4)一个主要的方法是以钢琴卷的形式生成符号音乐，它指定了时序和音高
# OpenAI 标准化采用 PyTorch 来源：[https://openai.com/index/openai-pytorch/](https://openai.com/index/openai-pytorch/) OpenAI 正在将深度学习框架标准化为 [PyTorch](https://pytorch.org/)。过去，我们根据各框架的相对优势在多个框架中实现项目。现在我们选择进行标准化，以便团队更容易创建和共享优化的模型实现。作为这一举措的一部分，我们刚刚发布了
OpenAI Five 成为首个利用大规模深度强化学习和自我对弈击败 Dota 2 世界冠军的 AI 系统，在这款具有长期时间跨度和不完全信息的复杂游戏中展现了超人类的表现。
OpenAI研究揭示了“双下降”现象，即测试误差随着模型规模和训练步数的增加呈现出非单调的模式，挑战了传统上对深度学习偏差-方差权衡的理解。
# 测试对未知对手的鲁棒性 来源：[https://openai.com/index/testing-robustness/](https://openai.com/index/testing-robustness/) OpenAI 我们开发了一种方法来评估神经网络分类器是否能可靠地抵御训练期间未见过的对抗性攻击。我们的方法产生了一个新的指标 UAR（未知攻击鲁棒性），它评估单个模型对意外攻击的鲁棒性，并强调了需要在更多样化的未知攻击范围内测量性能
# 不同扰动类型之间对抗鲁棒性的迁移 来源: [https://openai.com/index/transfer-of-adversarial-robustness-between-perturbation-types/](https://openai.com/index/transfer-of-adversarial-robustness-between-perturbation-types/) OpenAI## 摘要 我们研究深度神经网络在不同扰动类型之间的对抗鲁棒性迁移。虽然大多数关于对抗样本的工作专注于L∞L\_∞和L2L\_2有界扰动，但这些并不能捕捉所有t
OpenAI 发布了 MuseNet，一个基于 GPT-2 架构的深度神经网络，通过从数十万个 MIDI 文件中学习模式，能够生成 4 分钟的音乐作品，包含 10 种乐器。该模型可以结合多种音乐风格并以新颖的方式融合它们。
OpenAI推出了稀疏Transformer，一种深度神经网络，将注意力机制的复杂度从O(N²)优化到O(N√N)，使得能够对长度超过以前30倍的序列进行建模，适用于文本、图像和音频领域。该模型采用稀疏注意力模式和基于检查点的内存优化技术，可以训练深达128层的网络，在多个领域实现了最先进的性能。
# AI 训练如何实现扩展 来源：[https://openai.com/index/how-ai-training-scales/](https://openai.com/index/how-ai-training-scales/) 我们发现梯度噪声尺度（一个简单的统计指标）可以预测神经网络在广泛任务上的训练可并行性。由于复杂任务往往具有更高的梯度噪声，越来越大的批大小在未来可能会变得有用，从而消除了 AI 系统进一步增长的一个潜在瓶颈。更广泛地说，这些结果表明神经网络训练无需被视为神秘的艺术，而可以被严格化和系统化。
# 量化强化学习中的泛化能力 来源: [https://openai.com/index/quantifying-generalization-in-reinforcement-learning/](https://openai.com/index/quantifying-generalization-in-reinforcement-learning/) 我们训练了9个智能体来玩CoinRun，每个智能体都有不同数量的可用训练关卡。前8个智能体分别在包含100到16,000个关卡的数据集上进行训练。最后一个智能体在不受限制的关卡集合上进行训练，因此该智能体永远不会看到相同的关卡两次。
OpenAI 推出 Glow，一种改进的可逆生成模型，通过用可学习的 1x1 卷积替换固定置换简化了 RealNVP 架构，实现更好的信息流和显著的性能提升。
OpenAI Five 是一个强化学习智能体，通过自我对抗训练、课程学习和策略随机化来掌握 Dota 2，从随机行为逐步演进到执行复杂的人类级策略。
# 研究请求 2.0 来源：[https://openai.com/index/requests-for-research-2/](https://openai.com/index/requests-for-research-2/) OpenAI 我们发布了一批七个未解决的问题，这些问题在 OpenAI 的研究过程中出现。如果你不确定从何处开始，这里有一些已解决的入门问题。⭐ 训练一个 LSTM 来解决 `XOR` 问题：即，给定一个比特序列，确定其奇偶性。[LSTM\(opens in a new window\)](http://colah.github.io/posts
# 域随机化与生成模型在机器人抓取中的应用 来源：[https://openai.com/index/domain-randomization-and-generative-models-for-robotic-grasping/](https://openai.com/index/domain-randomization-and-generative-models-for-robotic-grasping/) ## 摘要 基于深度学习的机器人抓取在算法改进和数据可用性增加的推动下取得了重大进展。然而，最先进的模型往往仅在数百或数千个未
# 深度线性网络中的非线性计算 来源：[https://openai.com/index/nonlinear-computation-in-deep-linear-networks/](https://openai.com/index/nonlinear-computation-in-deep-linear-networks/) `` ``` 1x = tf.placeholder(dtype=tf.float32, shape=[batch_size,784]) 2y = tf.placeholder(dtype=tf.float32, shape=[batch_size,10]) 34w1 = tf.Variable(np.random.normal(scale=np.sqrt(2./784),size=[784,512]).astype(np.float32)) 5b1 = tf.Variable(np.zeros(512,dtype=np.float32)) 6w2 = tf.Variable(np.random