gpt-3

本文回顾了2020年GPT-3在氛围编程中的早期使用，强调了它在塑造AI辅助开发中的作用。

本文讲述了Jerry Tworek在项目获得资金支持之前如何推进自己的AI研究想法，以及他的首席科学家一句鼓励的话如何推动项目向前发展.

作者反思了AI里程碑，如通过图灵测试和GPT-3的能力如何被迅速常态化，敦促社区欣赏当前AI向通用人工智能（AGI）迈进的时刻。

机器人技术取得突破，类似于GPT-3对人工智能的影响，通用人工智能公司发布Gen-1.5，正如一条兴奋的推文所强调的。

文章回顾了2020年的一个VR项目，其中包含一个名为ToastGenie的GPT-3驱动烤面包机，它通过烤面包主题的对话与用户互动，并能喷射虚拟食物，展示了早期创意AI应用。

Sam Altman在2022年的一封邮件中透露，OpenAI曾考虑发布一个GPT-3级别的模型，用于本地消费硬件，以阻止竞争对手。

Dan Shipper 报告称，尽管用 AI 智能体自动化了一切可能的事情，但他的公司自 GPT-3 以来已从 4 名员工增长到 30 名人类员工，他认为 AI 让专家技能变得廉价，从而推动了对人类工作的需求。

Dan Shipper 的报告指出，使用 AI 代理实现自动化反而增加了人力和员工数量，这突出了为什么 AI 会提高对专家劳动力的需求的结构性原因。

Waymark 微调 GPT-3 以自动生成营销文案和视频脚本，解决了关键的客户痛点——三分之二的用户在为视频广告编写脚本时遇到困难。

文章讨论使用 GPT-3 来为应用程序创建高级人工智能驱动的角色，可能用于游戏、交互式媒体或虚拟环境。

OpenAI研究人员展示了GPT-3可以学会用自然语言表达关于其答案的标定不确定性，而无需使用模型logits。他们引入了CalibratedMath基准套件来评估这种能力。这种方法在分布漂移下表现出强劲的泛化能力，代表了模型首次表达关于其自身预测的良好标定口头不确定性的证据。

OpenAI Codex 是基于 GPT-3 的自然语言到代码系统，目前正为包括 GitHub Copilot 在内的 70 多个应用提供支持。Azure OpenAI Service 已扩大有限预览版的可用性，使企业能够访问 Codex 和其他 OpenAI 模型。

OpenAI 宣布为 GPT-3 和 Codex 推出新的编辑和插入功能，支持文件中间位置的代码补全和文本编辑。插入功能正在 GitHub Copilot 中试点，并已通过补全 API 向公众开放测试版。

OpenAI 推出了 InstructGPT，这是一个 GPT-3 的变体，通过人类反馈强化学习 (RLHF) 进行微调，以更好地遵循指令并减少有害输出。一个 1.3B 的 InstructGPT 模型在人类评估者的偏好测试中超过了 175B 的 GPT-3 模型，现已成为 OpenAI API 的默认模型。

OpenAI 对 GPT-3 进行了微调,使其能够使用基于文本的网络浏览器来搜索、检索和引用源资料,从而更准确地回答开放式问题。该模型在 ELI5 数据集的问题上的表现优于人类演示者 56% 的时间,但在 TruthfulQA 等分布外任务上存在局限性。

# 为您的应用自定义 GPT-3 来源：[https://openai.com/index/customizing-gpt-3/](https://openai.com/index/customizing-gpt-3/) OpenAI使用单条命令进行微调。开发者现在可以在自己的数据上对 GPT-3 进行微调，创建针对其应用定制的版本。自定义使 GPT-3 能够可靠地支持更广泛的用例，并使模型运行更便宜、更快。您可以使用任何形状和大小的现有数据集，或逐步添加数据

OpenAI 取消了其 GPT-3 API 的等待列表，允许受支持国家的开发者立即访问该服务。该公告突出强调了新的安全功能、Instruct Series 模型、内容过滤工具以及用于代码生成的 Codex。

OpenAI 训练了一个使用验证器的系统来解决小学数学应用题，准确率达到儿童水平的 90%，性能几乎是微调后的 GPT-3 的两倍。该方法通过训练验证器来评估候选解决方案并选择最佳方案，解决了语言模型在多步推理中的弱点。

OpenAI 宣布，在推出九个月后，已有超过 300 个应用通过其 API 使用 GPT-3，每天生成 45 亿个词汇。主要用例包括用于客户反馈分析的 Viable、用于交互式故事讲述的 Fable Studio 和用于语义搜索的 Algolia。

来自 OpenAI 和斯坦福大学研究人员的全面讨论总结，涵盖 GPT-3 的技术能力、限制以及跨越计算机科学、语言学、哲学和政策等多个学科的更广泛社会影响。