随着美国迎来 250 周年，我们整理出 250 项来自美国的开放 AI 里程碑：开放模型、数据集、演示、论文和工具，它们共同塑造了这一领域。从《Attention Is All You Need》、PyTorch、GPT-2、ULMFiT、Llama、ImageNet、LoRA，到数百个其他成果。

它们提醒着我们，是什么让美国成为世界创新引擎：

• 开放科学
• 开放竞争
• 开放生态

建设者和科学家们互相借鉴、互相挑战、融合创意、推动前沿。这就是最好的美国!

而如今在 AI 领域，这一理念正面临风险。

未来几个月，科学家和 AI 建设者将必须决定自己站在历史的哪一边：是开放、透明、参与和竞争塑造的 AI 未来，还是被少数行动者以金钱、保密和设卡为目的，日益紧闭大门所控制的未来。

让我们让下一个 250 年更加开放！

https://huggingface.co/collections/clem/250-years-of-america-250-open-ai-milestones…

250 Years of America, 250 Open AI Milestones - a clem Collection

来源：https://huggingface.co/collections/clem/250-years-of-america-250-open-ai-milestones

clem (https://huggingface.co/clem) 的收藏

为庆祝美国 250 岁生日：250 项最重要的美国开放模型、数据集、论文和空间，从 #1 向下排列。7月4日快乐！

• — #### Attention Is All You Need 论文•1706.03762•发布时间2017年6月12日 • 128 (https://huggingface.co/papers/1706.03762) 注释#1 — Attention Is All You Need (Google, 2017)。引入 Transformer 的论文。
• — #### PyTorch: An Imperative Style, High-Performance Deep Learning Library 论文•1912.01703•发布时间2019年12月3日 • 2 (https://huggingface.co/papers/1912.01703) 注释#2 — PyTorch (Meta, 2019)。开放 AI 运行的框架。
• — #### google-bert/bert-base-uncased 填充掩码• 0.1B• 更新于2024年2月19日 • 66.3M • • 2.7k (https://huggingface.co/google-bert/bert-base-uncased) 注释#3 — BERT (Google, 2018)。开启开放模型时代和 Hub 本身的模型。
• — #### openai-community/gpt2 文本生成• 0.1B• 更新于2024年2月19日 • 13.4M • 3.33k (https://huggingface.co/openai-community/gpt2) 注释#4 — GPT-2 (OpenAI, 2019)。最初的开放 LLM。
• — #### Efficient Estimation of Word Representations in Vector Space 论文•1301.3781•发布时间2013年1月16日 • 8 (https://huggingface.co/papers/1301.3781) 注释#5 — word2vec: Efficient Estimation of Word Representations (Google, 2013)。
• — #### HuggingFace’s Transformers: State-of-the-art Natural Language Processing 论文•1910.03771•发布时间2019年10月9日 • 23 (https://huggingface.co/papers/1910.03771) 注释#6 — HuggingFace’s Transformers: State-of-the-art NLP (2019)。开放 AI 运行的库——及其兄弟 Datasets、Hub 和 TGI。
• — #### Universal Language Model Fine-tuning for Text Classification 论文•1801.06146•发布时间2018年1月18日 • 8 (https://huggingface.co/papers/1801.06146) 注释#7 — ULMFiT (Howard & Ruder, fast.ai, 2018)。通用语言模型微调——BERT 之前的 NLP 迁移学习。
• — #### meta-llama/Llama-2-7b 文本生成• 更新于2024年4月17日 • 113 • 4.51k (https://huggingface.co/meta-llama/Llama-2-7b) 注释#8 — Llama 2 (Meta, 2023)。开放权重走向商业化，生态系统爆发。
• — #### openai/whisper-large-v3 自动语音识别• 2B• 更新于2024年8月12日 • 5.89M • • 5.92k (https://huggingface.co/openai/whisper-large-v3) 注释#9 — Whisper (OpenAI)。面向全世界的开放语音识别。
• — #### openai/gpt-oss-120b 文本生成• 120B• 更新于2025年8月26日 • 4.3M • • 4.95k (https://huggingface.co/openai/gpt-oss-120b) 注释#10 — gpt-oss-120b (OpenAI, 2025)。OpenAI 回归开放权重，Apache 2.0。
• — #### ILSVRC/imagenet-1k 查看器• 更新于2025年9月17日 • 1.43M • 112k • 849 (https://huggingface.co/datasets/ILSVRC/imagenet-1k) 注释#11 — ImageNet (Fei-Fei Li, Princeton/Stanford)。启动深度学习的数据集。
• — #### TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems 论文•1603.04467•发布时间2016年3月14日 (https://huggingface.co/papers/1603.04467) 注释#12 — TensorFlow (Google, 2016)。大规模机器学习，开源。
• — #### openai/clip-vit-large-patch14 零样本图像分类• 0.4B• 更新于2023年9月15日 • 12.7M • 2.05k (https://huggingface.co/openai/clip-vit-large-patch14) 注释#13 — CLIP (OpenAI, 2021)。连接视觉和语言；为各处图像生成提供动力。
• — #### Language Models are Few-Shot Learners 论文•2005.14165•发布时间2020年5月28日 • 20 (https://huggingface.co/papers/2005.14165) 注释#14 — GPT-3: Language Models are Few-Shot Learners (OpenAI, 2020)。上下文学习到来。
• — #### Deep contextualized word representations 论文•1802.05365•发布时间2018年2月15日 • 1 (https://huggingface.co/papers/1802.05365) 注释#15 — ELMo: Deep Contextualized Word Representations (AI2/UW, 2018)。上下文嵌入到来。
• — #### stanfordnlp/glove (https://huggingface.co/stanfordnlp/glove) 注释#16 — GloVe (Stanford, 2014)。全局词向量；与 word2vec 一起，是这一切开始的嵌入。
• — #### meta-llama/Meta-Llama-3-8B 文本生成• 8B• 更新于2024年9月27日 • 1.32M • • 6.59k (https://huggingface.co/meta-llama/Meta-Llama-3-8B) 注释#17 — Llama 3 (Meta, 2024)。Hub 历史上下载量最大的 LLM 家族。
• — #### rajpurkar/squad 查看器• 更新于2024年3月4日 • 98.2k • 188k • 368 (https://huggingface.co/datasets/rajpurkar/squad) 注释#18 — SQuAD (Stanford, 2016)。定义 NLP 一个时代的问答基准。
• — #### LLaMA: Open and Efficient Foundation Language Models 论文•2302.13971•发布时间2023年2月27日 • 25 (https://huggingface.co/papers/2302.13971) 注释#19 — LLaMA: Open and Efficient Foundation Language Models (Meta, 2023)。
• — #### distilbert/distilbert-base-uncased 填充掩码• 67M• 更新于2024年5月6日 • 8.62M • • 908 (https://huggingface.co/distilbert/distilbert-base-uncased) 注释#20 — DistilBERT (Hugging Face)。面向大众的知识蒸馏；数十亿次下载。
• — #### Distilling the Knowledge in a Neural Network 论文•1503.02531•发布时间2015年3月9日 • 2 (https://huggingface.co/papers/1503.02531) 注释#21 — Distilling the Knowledge in a Neural Network (Hinton et al., Google, 2015)。
• — #### google-t5/t5-base 翻译• 0.2B• 更新于2024年2月14日 • 1.85M • • 778 (https://huggingface.co/google-t5/t5-base) 注释#22 — T5 (Google, 2019)。文本到文本的一切。
• — #### nyu-mll/glue 查看器• 更新于2024年1月30日 • 1.49M • 402k • 512 (https://huggingface.co/datasets/nyu-mll/glue) 注释#23 — GLUE (NYU/UW/DeepMind 相关，从纽约市领导)。BERT 时代的基准套件。
• — #### FacebookAI/roberta-base 填充掩码• 0.1B• 更新于2024年2月19日 • 10.3M • • 621 (https://huggingface.co/FacebookAI/roberta-base) 注释#24 — RoBERTa (Meta, 2019)。BERT，稳健优化；至今仍是主力。
• — #### allenai/c4 查看器• 更新于2024年1月9日 • 10.4B • 1.36M • 607 (https://huggingface.co/datasets/allenai/c4) 注释#25 — C4 (Google/AI2)。T5 和无数 LLM 背后的巨大清洁爬取语料库。
• — #### Scaling Laws for Neural Language Models 论文•2001.08361•发布时间2020年1月23日 • 10 (https://huggingface.co/papers/2001.08361) 注释#26 — Scaling Laws for Neural Language Models (Kaplan et al., OpenAI, 2020)。
• — #### Adam: A Method for Stochastic Optimization 论文•1412.6980•发布时间2014年12月22日 • 5 (https://huggingface.co/papers/1412.6980) 注释#27 — Adam: A Method for Stochastic Optimization (2015)。训练此列表几乎所有内容的优化器。
• — #### Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 论文•1502.03167•发布时间2015年2月11日 • 2 (https://huggingface.co/papers/1502.03167) 注释#28 — Batch Normalization (Google, 2015)。使非常深的网络可训练的诀窍。
• — #### Generative Adversarial Networks 论文•1406.2661•发布时间2014年6月10日 • 5 (https://huggingface.co/papers/1406.2661) 注释#29 — Generative Adversarial Networks (Goodfellow et al., 2014)。开启生成建模的论文。
• — #### A Style-Based Generator Architecture for Generative Adversarial Networks 论文•1812.04948•发布时间2018年12月12日 • 3 (https://huggingface.co/papers/1812.04948) 注释#30 — StyleGAN (NVIDIA, 2018)。GAN 时代的皇冠上的明珠；‘此人不存在。’
• — #### Denoising Diffusion Probabilistic Models 论文•2006.11239•发布时间2020年6月19日 • 9 (https://huggingface.co/papers/2006.11239) 注释#31 — Denoising Diffusion Probabilistic Models (UC Berkeley, 2020)。DDPM。
• — #### Scalable Diffusion Models with Transformers 论文•2212.09748•发布时间2022年12月19日 • 17 (https://huggingface.co/papers/2212.09748) 注释#32 — Scalable Diffusion Models with Transformers — DiT (Berkeley/NYU, 2022)。现代图像和视频生成的骨干。
• — #### Deep Residual Learning for Image Recognition 论文•1512.03385•发布时间2015年12月10日 • 17 (https://huggingface.co/papers/1512.03385) 注释#33 — Deep Residual Learning for Image Recognition (Microsoft, 2015)。
• — #### EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks 论文•1905.11946•发布时间2019年5月28日 • 4 (https://huggingface.co/papers/1905.11946) 注释#34 — EfficientNet (Google, 2019)。视觉的复合缩放。
• — Track, rank and evaluate open LLMs and chatbots (https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard) 注释#35 — Open LLM 排行榜。设定了开放模型竞赛的节奏。
• — #### EleutherAI/pile 更新于2023年5月3日 • 6.22k • 500 (https://huggingface.co/datasets/EleutherAI/pile) 注释#36 — The Pile (EleutherAI, 2020)。825GB 的数据训练了一代开放 LLM。
• — #### Training language models to follow instructions with human feedback 论文•2203.02155•发布时间2022年3月4日 • 24 (https://huggingface.co/papers/2203.02155) 注释#37 — InstructGPT (OpenAI, 2022)。我们所知的 RLHF。
• — #### GPT-4 Technical Report 论文•2303.08774•发布时间2023年3月15日 • 7 (https://huggingface.co/papers/2303.08774) 注释#38 — GPT-4 Technical Report (OpenAI, 2023)。
• — #### cais/mmlu 查看器• 更新于2024年3月8日 • 231k • 433k • 783 (https://huggingface.co/datasets/cais/mmlu) 注释#39 — MMLU (Hendrycks et al., Berkeley)。多年来默认的知识基准。
• — #### bigcode/starcoder 文本生成• 16B• 更新于2024年10月8日 • 23k • 2.97k (https://huggingface.co/bigcode/starcoder) 注释#40 — StarCoder (BigCode: Hugging Face + ServiceNow)。大规模开放代码生成。
• — #### EleutherAI/gpt-j-6b 文本生成• 更新于2023年6月21日 • 258k • 1.53k (https://huggingface.co/EleutherAI/gpt-j-6b) 注释#41 — GPT-J (EleutherAI, 2021)。草根开放的 GPT-3 竞争对手。
• — #### meta-llama/Llama-3.1-405B 文本生成• 406B• 更新于2024年9月25日 • 209k • • 978 (https://huggingface.co/meta-llama/Llama-3.1-405B) 注释#42 — Llama 3.1 405B (Meta, 2024)。第一个开放的前沿规模模型。
• — #### bigscience/bloom 文本生成• 176B• 更新于2023年7月28日 • 5.32k • 5.02k (https://huggingface.co/bigscience/bloom) 注释#43 — BLOOM (BigScience, 2022)。176B 参数，1000+ 研究者，由 Hugging Face 领导。第一个 GPT-3 规模的开放 LLM。
• — #### Evaluate & Evaluation on the Hub: Better Best Practices for Data and Model Measurements 论文•2210.01970•发布时间2022年9月30日 • 14 (https://huggingface.co/papers/2210.01970) 注释#44 — Evaluate & Evaluation on the Hub (Hugging Face, 2022)。Hub 的开放评估基础设施。
• — #### Model Cards for Model Reporting 论文•1810.03993•发布时间2018年10月5日 • 7 (https://huggingface.co/papers/1810.03993) 注释#45 — Model Cards for Model Reporting (Mitchell et al., Google, 2018)。每个 Hub 仓库上的文档标准。
• — #### Gradio: Hassle-Free Sharing and Testing of ML Models in the Wild 论文•1906.02569•发布时间2019年6月6日 • 2 (https://huggingface.co/papers/1906.02569) 注释#46 — Gradio (2019)。开放 ML 的接口层——每个 Space 都在其上运行。
• — View the LMArena leaderboard in full‐screen (https://huggingface.co/spaces/lmarena-ai/arena-leaderboard) 注释#47 — Chatbot Arena / LMArena (LMSYS, UC Berkeley)。通过数百万人类投票进行的社区模型排名。
• — #### google/gemma-7b 文本生成• 9B• 更新于2024年6月27日 • 29.4k • • 3.37k (https://huggingface.co/google/gemma-7b) 注释#48 — Gemma (Google, 2024)。Google 回归开放权重。
• — #### Learning Transferable Visual Models From Natural Language Supervision 论文•2103.00020•发布时间2021年2月26日 • 22 (https://huggingface.co/papers/2103.00020) 注释#49 — Learning Transferable Visual Models From Natural Language Supervision — CLIP (OpenAI)。
• — #### Datasets: A Community Library for Natural Language Processing 论文•2109.02846•发布时间2021年9月7日 • 15 (https://huggingface.co/papers/2109.02846) 注释#50 — Datasets: A Community Library for NLP (Hugging Face, 2021)。服务于本列表每个数据集的库。
• — #### xai-org/grok-1 文本生成• 更新于2024年3月28日 • 177 • 2.42k (https://huggingface.co/xai-org/grok-1) 注释#51 — Grok-1 (xAI, 2024)。314B 参数，当时最大的开放发布。
• — #### HuggingFaceFW/fineweb 查看器• 更新于2025年7月11日 • 52.5B • 446k • 2.92k (https://huggingface.co/datasets/HuggingFaceFW/fineweb) 注释#52 — FineWeb (Hugging Face, 总部纽约市)。现代开放预训练语料库。
• — #### bigcode/the-stack 查看器• 更新于2023年4月13日 • 546M • 17.7k • 1.03k (https://huggingface.co/datasets/bigcode/the-stack) 注释#53 — The Stack (BigCode)。6TB 的宽松许可源代码。
• — #### Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 论文•2201.11903•发布时间2022年1月28日 • 15 (https://huggingface.co/papers/2201.11903) 注释#54 — Chain-of-Thought Prompting (Google, 2022)。
• — #### nvidia/Llama-3.1-Nemotron-70B-Instruct-HF 文本生成• 71B• 更新于2025年4月13日 • 37.6k • • 2.07k (https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct-HF) 注释#55 — Nemotron 70B (NVIDIA, 2024)。正确完成的开放后训练。
• — #### LoRA: Low-Rank Adaptation of Large Language Models 论文•2106.09685•发布时间2021年6月17日 • 63 (https://huggingface.co/papers/2106.09685) 注释#56 — LoRA: Low-Rank Adaptation (Microsoft, 2021)。使微调变得经济实惠。
• — #### Anthropic/hh-rlhf 查看器• 更新于2023年5月26日 • 169k • 29.6k • 1.81k (https://huggingface.co/datasets/Anthropic/hh-rlhf) 注释#57 — HH-RLHF (Anthropic)。典型的开放人类偏好数据集。
• — #### facebook/bart-large 特征提取• 更新于2022年6月3日 • 136k • • 201 (https://huggingface.co/facebook/bart-large) 注释#58 — BART (Meta, 2019)。去噪序列到序列；摘要主力。
• — #### openai/gsm8k 基准• 更新于3月23日 • 17.6k • 955k • 1.43k (https://huggingface.co/datasets/openai/gsm8k) 注释#59 — GSM8K (OpenAI)。多年来让 LLM 窘迫的小学数学题。
• — #### FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness 论文•2205.14135•发布时间2022年5月27日 • 15 (https://huggingface.co/papers/2205.14135) 注释#60 — FlashAttention (Stanford, 2022)。使长上下文变得实用。
• — #### EleutherAI/gpt-neox-20b 文本生成• 21B• 更新于2024年1月31日 • 440k • 584 (https://huggingface.co/EleutherAI/gpt-neox-20b) 注释#61 — GPT-NeoX-20B (EleutherAI, 2022)。在它流行之前的开放规模。
• — #### togethercomputer/RedPajama-Data-1T 查看器• 更新于2024年6月17日 • 1.73M • 2.08k • 1.18k (https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T) 注释#62 — RedPajama 1T (Tog