Andrej Karpathy 将整个 LLM 训练史总结为三个名词：文本（text）、对话（conversations）和环境（environments）。预训练运行在互联网文本上，监督微调运行在策展过的对话上，而当前的 RL 时代则运行在环境上。OpenAI 和 Anthropic 正在花费数十亿美元构建这些环境，前沿实验室则将其好的环境保密。今天我想介绍一个开源框架，它可以免费完成这一切。但在那之前，先说明一下为什么环境如此重要。

RL 有两个难题：对答案评分（scoring an answer）和构建模型在其中行动的环境（building the environment）。第一个问题现在基本解决了。评分过去需要用一个单独训练的人类偏好模型，但 DeepSeek 的 R1 表明，对于任何有可验证答案的任务，GRPO 可以直接对照目标进行简单检查来学习。这样一来，环境就成了真正的瓶颈——而且它也是一个更有趣的问题。

环境是模型在其中行动的世界。它呈现一个任务，交给模型一次移动，对其评分，然后返回下一个状态，一次一步。底层由三部分组成：

• 一组任务的数据集
• 模型通过它行动的框架（harness）
• 对结果进行评分的评分标准（rubric）

同样的定义不仅可以训练模型，还可以用来评估模型、生成合成数据，或者对 agent 框架进行压力测试。构建一个好的环境很难，所以实验室才会对其加以保护。

我前面提到的开源框架是 Prime Intellect 的 Verifiers，采用 MIT 许可证发布，并且可以与任何模型配合使用。真正放大其价值的是围绕它的 hub（环境共享中心）。就像 Hugging Face 之于模型一样，任何人都可以发布他们构建的环境，并复用别人构建的环境。每个人设计的一个任务，都成为整个领域可以训练的一个任务。该 hub 目前已经拥有超过 2,500 个环境。

查看这里：https://github.com/PrimeIntellect-ai/verifiers… （别忘了星标 ⭐）

我使用它从头构建了一个环境——一个奥赛罗（Othello）游戏，让 LLM 与内置引擎对战，每次移动都被评分。奥赛罗只是一个例子。同样的蓝图——解析移动、评分、返回下一个状态——是每个环境的核心，所以这个演示展示了如何从头构建和自定义自己的环境。

完整的构建（包含可运行代码）在下方引用的文章中。

PrimeIntellect-ai/verifiers

来源：https://github.com/PrimeIntellect-ai/verifiers

概述

verifiers 是我们用于创建环境以训练和评估 LLM 的库。verifiers 与环境中心（Environments Hub, https://app.primeintellect.ai/dashboard/environments?ex_sort=most_stars）以及我们的训练框架 prime-rl (https://github.com/PrimeIntellect-ai/prime-rl) 和托管训练平台（Hosted Training, https://app.primeintellect.ai/dashboard/training）紧密集成。

安装

我们建议安装 Prime CLI (https://github.com/PrimeIntellect-ai/prime) 来与环境交互。

# 安装 uv
curl -LsSf https://astral.sh/uv/install.sh | sh
# 安装 prime CLI
uv tool install prime

延伸阅读

• 文档 包含简短、人工编写的指南和架构概览。
• AGENTS.md 和 skills 适用于编码 agent，并包含更多细节。

引用

最初由 Will Brown (@willccbb (https://github.com/willccbb)) 创建。

@misc{brown_verifiers_2025,
  author = {William Brown},
  title = {{Verifiers}: Environments for LLM Reinforcement Learning},
  howpublished = {\url{https://github.com/PrimeIntellect-ai/verifiers}},
  year = {2025}
}