@ClementDelangue：我们把 Claude Code、Codex、Hermes、Pi、@opencode 等编码框架变成了强化学习环境，无需对……

X AI KOLs Timeline 工具
reinforcement-learning coding-agents multi-harness-rl open-source training-infrastructure vllm huggingface

摘要

Hugging Face 通过一个捕获代理，将 Claude Code、Codex、Hermes、Pi 和 OpenCode 等真实的编码智能体框架转化成强化学习训练环境，既无需修改框架，也无需改动训练代码，所有模型、任务、数据和代码均完全开源。

我们把 Claude Code、Codex、Hermes、Pi、@opencode 以及其他编码框架变成了强化学习环境。框架无需改动，训练代码无需改动。任意开源模型、任意任务集，全部开源，我的朋友们！ **同一个模型、同一组权重**：在 Mini-SWE-Agent 下为 62%，在 Claude Code 下为 33%。但要在真实框架内训练，通常意味着得把它重新实现成一个环境，于是大多数模型实际上是在一个根本没人真正发布的脚手架里训练的。 解决办法是代理，而不是重写。框架以为自己在调用一个模型 API，实际上对接的是一个捕获代理——它支持编码智能体使用的 4 种格式（OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Gemini），把请求转发给 @vllm_project，记录下 vLLM 实际采样到的精确 token ID 和 logprob，并交给 TRL 去训练对应的序列。框架本身就成了环境。目前有 10 个框架跑在它之上，全部无需修改。 而且因为奖励由你控制，你可以塑造框架本身从未要求的行为。我们为「用更少的工具调用解出任务」加了一点小奖励：在它本来就已能解出的任务上，模型现在使用的调用次数减少了 31%——在每一个框架下都成立，在 Codex 下大约减少一半。 在 @liquidai 的 LFM2.5-2.6B 上测试： → 在单个框架内训练：主要在该框架内表现更好（OpenCode 34% → 58%）。 → 同时在 4 个框架内训练：4 个框架全部提升（42% → 54%）。 → 改用 Qwen3.8-27B 生成的 3,189 条 rollout 做 SFT：在 47.5% 处进入平台期，低于两次 RL 训练的结果。 一切开源且可复现：OpenEnv 中的捕获代理、TRL 中的训练器、任务、SFT 数据、训练代码，以及全部 7 个训练好的模型。接下来是更大的模型和更大的训练规模。 完整指南：https://huggingface.co/spaces/FineEnvs/multi-harness-rl…
查看原文
查看缓存全文

缓存时间: 2026/10/05 17:36

我们把 Claude Code、Codex、Hermes、Pi、@opencode 以及其他编码框架（harness）直接变成了强化学习环境。框架无需改动，训练代码也无需改动。任何开源模型、任何任务集，完全开源，我的朋友们！

同一模型、同一权重：在 Mini-SWE-Agent 下得分 62%，在 Claude Code 下只有 33%。但要在一个真实框架内部做训练，通常意味着把它重新实现成一个环境，于是大多数模型都在一套实际上没人真正部署的脚手架里进行训练。

解决方案是一个代理，而不是重写。框架以为自己在和一个模型 API 对话，实际上它对接的是一个捕获代理（capture proxy）。这个代理支持编码智能体使用的 4 种格式（OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Gemini），将请求转发给 @vllm_project，记录 vLLM 采样时的精确 token ID 和 logprobs，并输出 TRL 可以直接用于训练的序列。于是框架本身就变成了环境。目前已有 10 个框架通过它运行，且都没有被修改。

而且因为奖励由你掌控，你可以塑造框架本身从未要求过的行为。我们为用更少工具调用完成任务加入了一个小奖励：对于模型原本就能解决的任务，现在它在所有框架下的工具调用次数减少了 31%，其中在 Codex 下大约减少了一半。

我们在 @liquidai 的 LFM2.5-2.6B 上进行了测试： → 在一个框架中训练：提升主要体现在该框架本身（OpenCode 从 34% 提升到 58%）。 → 同时在 4 个框架中训练：在全部 4 个框架上都有提升（从 42% 提升到 54%）。 → 改用 Qwen3.8-27B 生成的 3,189 条 rollout 做 SFT：性能停在 47.5%，低于两次 RL 运行的结果。

一切均开源且可复现：OpenEnv 中的捕获代理、TRL 中的训练器、任务集、SFT 数据、训练代码以及全部 7 个训练好的模型。下一步会测试更大的模型和更大规模的训练。

完整指南：https://huggingface.co/spaces/FineEnvs/multi-harness-rl…

多框架强化学习终极指南 - 由 FineEnvs 提供的 Hugging Face Space

来源：https://huggingface.co/spaces/FineEnvs/multi-harness-rl 正在从 HF Docker 仓库获取元数据……

相似文章