标签
Transformer Explainer 是一个交互式可视化工具，让非专业人士能够通过浏览器中的实时实验和可视化，理解 GPT-2 模型的内部工作机制。
OpenAI的Image GPT（iGPT）将GPT-2 Transformer应用于像素序列，用于图像生成和分类。它展示了用于语言处理的相同架构能够以无监督的方式学习连贯的视觉特征，并在图像分类基准测试中实现具有竞争力的性能。
OpenAI 发布了 GPT-2 1.5B 参数模型，附带了人类对可信度感知的分析、通过在极端意识形态微调进行滥用的潜在风险，以及检测合成文本的挑战。检测模型达到约 95% 的准确率，但在实际部署中需要配套方法。
OpenAI展示了使用人类偏好反馈对GPT-2（774M参数）进行微调，用于文本续写和摘要任务，风格任务需要5000个标签，摘要任务需要60000个标签，模型达到了86-88%的人类偏好率，但揭示了标注者启发式利用的问题。
OpenAI 讨论了他们对 GPT-2 发布的6个月后续跟进，概述了在未来几个月内发布 1558M 参数模型的计划，并强调分阶段发布和基于合作伙伴关系的共享是负责任的 AI 发布的关键。
OpenAI 推出 GPT-2，这是一个拥有 15 亿参数的基于 Transformer 的语言模型，在 40GB 的互联网文本上进行训练，在语言建模基准上达到了最先进的性能，并在阅读理解、翻译、问答和摘要生成等任务上展示了零样本学习能力。出于安全考虑，仅公开发布了较小的模型和技术论文，而非完整的训练模型。
Karukan 是一个面向 Linux/macOS 的神经网络假名汉字转换输入法系统，使用 llama.cpp 推理 GPT-2 模型，支持实时转换、上下文感知和用户学习。