J-Zero: 统一挑战者-求解者-评判者从零数据协同进化

# J-Zero：基于零数据的统一挑战者-求解者-裁判协同进化  
数据来源：https://arxiv.org/html/2608.26582  
Gyouk Chu Myeongho Jeon11footnotemark:1Eunho Yang††thanks:Equal contribution††thanks:Correspondence to:eunhoy@kaist\.ac\.kr  

###### 摘要  
自进化语言模型近期成为迈向超级智能的一条有前景的路径，其优势在于降低了人工监督的成本。尽管在可验证领域已取得显著进展，但不可验证领域的自进化探索仍相当有限。我们提出了**基于零数据的裁判协同适应框架**（J-Zero），这是一个统一的挑战者-求解者-裁判协同进化框架，支持在两类领域中进行自我改进。挑战者与求解者通过对抗性交互协同进化：挑战者生成日益困难的任务，而求解者学习为这些任务生成更高质量的回答。与此同时，裁判通过已知顺序的偏好对进行协同适应——其顺序由每个回答的生成方式决定，即求解者的答案优先于挑战者的答案，其分解重组的答案优先于一次性答案，而非依赖裁判自身的评分。J-Zero在可验证领域比基线平均高出4.2分，在不可验证领域高出8.0分，并在至少十次迭代中持续改进，而基线在两次迭代后性能即下降。  

## 1 引言  
自进化大语言模型已成为克服人工标注监督局限性的一种有前景的方法。依赖人工标注员设计任务和提供标签成本高昂，且是开发可能最终超越人类智能的AI系统的根本瓶颈（Tao等，2024（https://arxiv.org/html/2608.26582#bib.bib39）；Jeon等，2025（https://arxiv.org/html/2608.26582#bib.bib2））。近期工作探索了无需任何外部数据、完全通过闭环自博弈生成训练任务的自进化模型（Huang等，2026b（https://arxiv.org/html/2608.26582#bib.bib3））。这些方法从单一模型出发，实例化协同进化的挑战者与求解者角色：挑战者生成日益困难的任务，而求解者学习解决这些任务。尽管自进化算法已在可验证领域成熟应用（Acikgoz等，2026（https://arxiv.org/html/2608.26582#bib.bib4）；Yue等，2026（https://arxiv.org/html/2608.26582#bib.bib5）；Li等，2026（https://arxiv.org/html/2608.26582#bib.bib7）），但其在不可验证领域的应用仍待探索。  

自进化在可验证领域相对直接，客观的基准真值答案提供了直接的评估与学习信号。相反，不可验证领域不存在单一正确答案，质量由人类偏好而非可验证条件定义。在此情境下，学习信号来自替代验证器的裁判对回答进行评分（Kuba等，2025（https://arxiv.org/html/2608.26582#bib.bib32））。这种替代引入了天花板：固定的裁判只能推动求解者趋近其已内化的偏好，一旦求解者达到裁判所能区分的极限，进一步训练便无法产生有效信号。因此，自我改进的程度受限于裁判自身的评估能力（Huang等，2026a（https://arxiv.org/html/2608.26582#bib.bib6））。  

据此，我们提出了一个新颖框架**基于零数据的裁判协同适应**（J-Zero），使裁判模型与挑战者和求解者协同适应，在训练过程中提升其天花板，从而在可验证和不可验证领域均实现自进化。挑战者与求解者通过基于群组相对策略优化（Shao等，2024（https://arxiv.org/html/2608.26582#bib.bib38），GRPO）的极小极大博弈协同进化：挑战者被训练为通过生成日益困难的任务来最小化裁判分配的奖励，而求解者被训练为通过生成高质量回答来最大化奖励。  

在此循环中训练裁判看似循环——如果所有信号均来自单一模型，系统如何获得新的偏好信息尚不明确。因此，我们从循环中的**结构不对称性**推导偏好：即一种回答因构造而优于另一种回答的配置。具体而言，我们为基于Bradley–Terry（BT）模型的裁判训练构建了两类偏好对：（1）**角色不对称性对**：求解者的回答优先于挑战者的回答，因为求解者被明确优化以更好地回答生成的任务，而挑战者则被优化以使任务困难而非产生高质量答案；（2）**子任务放大对**：求解者的分治回答优先于其一次性回答，因为准确解决每个子任务比整体解决原始任务更容易，聚合子任务解决方案能使求解者生成更全面、更高质量的回答（Christiano等，2018（https://arxiv.org/html/2608.26582#bib.bib8））。  

J-Zero在可验证和不可验证领域均实现了显著性能提升。J-Zero在可验证任务上比基线提高4.2个百分点（表1（https://arxiv.org/html/2608.26582#S4.T1）），在涵盖不可验证任务的三个基准测试中提高8.0个百分点（表2（https://arxiv.org/html/2608.26582#S4.T2））。除性能提升外，进一步分析表明裁判协同进化是跨迭代轮次持续改进的关键组件（表3（https://arxiv.org/html/2608.26582#S5.T3）和图3（https://arxiv.org/html/2608.26582#S5.F3）、4（https://arxiv.org/html/2608.26582#A2.F4）），这对持续学习和终身学习具有广泛意义。  

## 2 相关工作  
**基于外部任务与监督的自进化**。早期自进化方法主要聚焦于在可验证领域中使用带有基准真值标签的任务迭代改进求解者，旨在通过适配模型当前能力来最大化可用数据的利用效率（Zelikman等，2022（https://arxiv.org/html/2608.26582#bib.bib15）；Yuan等，2023（https://arxiv.org/html/2608.26582#bib.bib16）；Singh等，2024（https://arxiv.org/html/2608.26582#bib.bib13）；Zhang等，2024（https://arxiv.org/html/2608.26582#bib.bib17）；Pang等，2024（https://arxiv.org/html/2608.26582#bib.bib14））。此类方法受限于人工标签的可用范围，无法提供超越现有监督的直接改进路径。  

**基于外部种子资源的自进化**。后续研究降低了对比真值标签的依赖，但仍依赖外部资源。自博弈微调将模型自身回答与来自监督微调（SFT）语料的参考回答进行比较（Chen等，2024（https://arxiv.org/html/2608.26582#bib.bib18））。自奖励方法使用模型自身作为策略和裁判，应用于外部种子数据集生成的提示（Yuan等，2024（https://arxiv.org/html/2608.26582#bib.bib19）；Prasad等，2025（https://arxiv.org/html/2608.26582#bib.bib20）；Wang等，2025（https://arxiv.org/html/2608.26582#bib.bib21）；Wu等，2025（https://arxiv.org/html/2608.26582#bib.bib22）；Zhou等，2025（https://arxiv.org/html/2608.26582#bib.bib23）；Wang等，2026（https://arxiv.org/html/2608.26582#bib.bib24）；Zhang等，2025（https://arxiv.org/html/2608.26582#bib.bib25）），而近期方法则从原始外部语料中挖掘新任务（Liu等，2025a（https://arxiv.org/html/2608.26582#bib.bib26）；Huang等，2026c（https://arxiv.org/html/2608.26582#bib.bib27）；Fan等，2026（https://arxiv.org/html/2608.26582#bib.bib28））。在这些情况下，自进化的范围仍锚定于初始资源，限制了真正新的可学习信息量，并可能强化模型现有偏差（Liu等，2026b（https://arxiv.org/html/2608.26582#bib.bib29））。  

**无数据自进化**。零数据自博弈框架完全消除了这种依赖，主要区别在于奖励获取方式。Absolute Zero（Zhao等，2025（https://arxiv.org/html/2608.26582#bib.bib30））通过执行器验证自提议的编码任务，相关工作将此基于执行的反馈扩展至软件工程（Wei等，2026（https://arxiv.org/html/2608.26582#bib.bib31））。R-Zero（Huang等，2026b（https://arxiv.org/html/2608.26582#bib.bib3））用采样回答的多数投票替代外部预言机，多个后续工作在工具使用等场景采用此策略（Acikgoz等，2026（https://arxiv.org/html/2608.26582#bib.bib4）；Yue等，2026（https://arxiv.org/html/2608.26582#bib.bib5）；Li等，2026（https://arxiv.org/html/2608.26582#bib.bib7））。这些奖励信号计算成本低且相对难以利用，但主要限于可验证领域。Kuba等（2025）（https://arxiv.org/html/2608.26582#bib.bib32）将无数据自进化扩展至不可验证领域，但其对静态裁判的依赖可能限制进一步改进的上限（Huang等，2026a（https://arxiv.org/html/2608.26582#bib.bib6））。  

这留下了一种未解决的情况：评估信号本身被学习且在可验证和不可验证领域均持续改进的无数据自进化。为解决此问题，我们开发了一个支持此类自适应评估的统一框架。与我们工作同期，G-Zero（Huang等，2026a（https://arxiv.org/html/2608.26582#bib.bib6））也通过解决固定裁判限制进一步改进的问题，将无数据自进化扩展至不可验证领域。它使用挑战者生成的提示构建求解者回答间的偏好对，并通过直接偏好优化（DPO）训练求解者。相反，我们的框架允许裁判与挑战者和求解者直接协同进化，使评估信号本身在连续轮次中改进，从而实现更稳定、持续的自我改进。  

## 3 方法论  
参见标题图1：J-Zero概述，其中挑战者、求解者和裁判通过迭代自博弈联合更新。  
**顶部和中部**：在挑战者和求解者训练阶段，两者在固定裁判下进行对抗性训练。挑战者生成求解者表现不佳的任务，而求解者学习在这些任务上恢复高分。  
**底部**：在裁判训练阶段，裁判基于循环内构建的两类偏好对——角色不对称性（\(\mathcal{D}_{\mathrm{role}}\)）和子任务放大（\(\mathcal{D}_{\mathrm{amp}}\)）——进行更新，使其评估能力随其监督的两个策略同步提升。  
奖励模型已成为不可验证领域大语言模型后训练的既定标准（Ouyang等，2022（https://arxiv.org/html/2608.26582#bib.bib1）），近期工作也证明了其在可验证领域的有效性（Su等，2026（https://arxiv.org/html/2608.26582#bib.bib40））。然而，如Huang等（2026a）（https://arxiv.org/html/2608.26582#bib.bib6）所指出，依赖固定奖励模型可能限制自进化可实现的整体改进上限。为缓解此问题，我们提出J-Zero——一个在自博弈循环内协同适应裁判的自进化框架，而非在整个训练过程中保持其固定。  

自进化以迭代方式进行，每次迭代包含三个阶段（图1（https://arxiv.org/html/2608.26582#S3.F1））。首先，挑战者通过最小化裁判对求解者回答分配的奖励来学习生成渐具挑战性的任务（第3.1节（https://arxiv.org/html/2608.26582#S3.SS1））。其次，针对挑战者生成的日益困难的任务，求解者通过最大化裁判对其回答的奖励来学习生成更高质量的回答（第3.1节（https://arxiv.org/html/2608.26582#S3.SS1））。最后，裁判使用基于自博弈循环内构建偏好对的BT损失进行更新（第3.2节（https://arxiv.org/html/2608.26582#S3.SS2））。  

### 3.1 挑战者与求解者的对抗进化  
**对抗性挑战者-求解者博弈**。令\(C_{\theta_{\text{c}}}\)表示挑战者，\(S_{\theta_{\text{s}}}\)表示求解者，\(J_{\phi}\)表示裁判。挑战者采样一批\(N\)个任务，\(\mathcal{X} = \{x_i\}_{i=1}^N\)，其中\(x_i \sim C_{\theta_{\text{c}}}\)。对于每个任务\(x_i \in \mathcal{X}\)，求解者采样\(M\)个回答，\(\mathcal{Y}_i = \{y_{i,j}\}_{j=1}^M\)，其中\(y_{i,j} \sim S_{\theta_{\text{s}}}(\cdot \mid x_i)\)。裁判为每个任务-回答对分配标量分数\(r_{i,j}^S = \sigma(J_{\phi}(x_i, y_{i,j}))\)，其中\(\sigma(\cdot)\)将原始裁判输出映射到\([0,1]\)。挑战者与求解者通过非对称对抗博弈交互：  
\[
\min_{\theta_{\text{c}}} \mathcal{L}_C(\theta_{\text{c}}; \theta_{\text{s}}, \phi), \quad \max_{\theta_{\text{s}}} \mathcal{R}_S(\theta_{\text{s}}; \theta_{\text{c}}, \phi).
\]  
此处，求解者目标直接由裁判分数决定：  
\[
\mathcal{R}_S(\theta_{\text{s}}; \theta_{\text{c}}, \phi) = \mathbb{E}_{x \sim C_{\theta_{\text{c}}}} \mathbb{E}_{y \sim S_{\theta_{\text{s}}}(\cdot \mid x)} \left[ \sigma(J_{\phi}(x, y)) \right],
\]  
而挑战者目标额外包含抑制重复或畸形任务的辅助约束。具体而言，我们将挑战者损失定义为负的期望复合奖励：  
\[
\mathcal{L}_C(\theta_{\text{c}}; \theta_{\text{s}}, \phi) = - \mathbb{E}_{x_i \sim C_{\theta_{\text{c}}}} \left[ r_i^C \right],
\]  
其中\(r_i^C\)定义如下。因此，交互是对抗性的但并非严格零和：挑战者寻求求解者表现不佳的任务，同时保持任务多样性和有效性，而求解者学习在挑战者生成的困难任务上获得高裁判分数。  

**挑战者奖励**。对于每个生成的任务\(x_i\)，求解者\(M\)个回答的平均裁判分数为  
\[
\bar{r}_i = \frac{1}{M} \sum_{j=1}^M r_{i,j}^S.
\]  
这估计了当前求解者处理\(x_i\)的能力。因此，我们将任务难度奖励定义为\(1 - \bar{r}_i\)，为求解者尚不能很好回答的任务分配更高奖励。然而，仅优化难度可能导致挑战者生成近重复任务或畸形输出。遵循R-Zero（Huang等，2026b（https://arxiv.org/html/2608.26582#bib.bib3）），我们通过重复惩罚和形式性奖励扩展难度奖励。