gpt2

据报道，Pathway的BDH（一种后Transformer架构）在标准GPU上从零训练时，在10M到1B参数范围内匹配GPT-2的缩放性能。

DrugGen-2通过监督学习和强化学习（GRPO）微调GPT-2，在疾病本体和靶点蛋白质序列条件下生成小分子，实现了药物发现中更高的多样性和结合亲和力。

GPT2-BASIC 在 FreeBASIC 中为 DOS 系统实现了 GPT 风格的 Transformer 推理引擎，使用定点算术和本地模型工件，在老旧硬件上运行 AI 辅助任务。

Justin Angel 发布了一个完整的 YouTube 工作坊，教你从零构建自己的大语言模型（基于 GPT-2 和 Qwen3.6 风格），涵盖 Transformer 架构、训练流程，并提供 Excel 手动操作和 Python/PyTorch 代码实践，无需数学或 ML 先修知识。