CriticGen：生成感知评估作为可操作反馈

# CriticGen：作为可操作性反馈的生成感知评估
来源：https://arxiv.org/html/2609.05439
Zecheng Zuo¹ [¹北京邮电大学，中国北京]，Sen Wang [北京邮电大学，中国北京]，Chenghao Fan [北京科技大学，中国北京]，Haofen Wang [同济大学，中国上海]，Yehui Yang [通讯作者 ([email protected])，亦可通过 [email protected] 联系。奇付科技 AI 实验室，中国北京]

###### 摘要

当前大语言模型的评估方法存在粒度粗糙且与生成过程脱节的问题，其产生的通用解释无法为模型改进提供可操作性反馈。本文提出 CriticGen，一种细粒度、生成感知的评估框架，旨在将评估转化为用于改进答案的可操作控制。CriticGen 首先在主观、客观和自衍生约束等高级类别下，生成针对特定样本的评估维度和评分标准。这些标准随后作为动态评分标准，共同用于生成分数、原因、可执行的改进建议以及改进后的答案。这一基于评分标准的改进过程使模型能够诊断缺陷并执行针对性的答案改进。实验结果表明，细粒度评估应兼顾实例特定性和可操作性。CriticGen 诱导出更高质量的评分标准，将相关性/覆盖率从 3.33/4.03 提升至 3.97/4.24。CriticGen 还取得了最佳的分数相关性，皮尔逊相关系数为 0.9556，斯皮尔曼相关系数为 0.9560，并将基于标准的理由和可执行建议的 F1 值从 0.6369/0.5994 提升至 0.7554/0.7900。关键的是，其反馈能够转化为可靠的答案改进，在 93.28% 的非劣化率下改进了 73.17% 的答案。

CriticGen：作为可操作性反馈的生成感知评估

## 1 引言

参见图 1 图例：CriticGen 核心思想示意图。现有方法通常提供固定或通用的反馈，与生成过程的联系较弱。CriticGen 诱导出特定样本的评分标准，并利用其进行评分、诊断、规划和改进答案，将评估转化为用于改进答案的可操作控制。大语言模型（LLMs）不仅被期望产生正确的最终答案，还需要提供忠实、一致且感知约束的推理过程（Wei 等人，2022 (https://arxiv.org/html/2609.05439#bib.bib1)；Cobbe 等人，2021 (https://arxiv.org/html/2609.05439#bib.bib2)）。对于思维链（CoT）输出（Wei 等人，2022 (https://arxiv.org/html/2609.05439#bib.bib1)），评估因此不再仅仅是排行榜指标。它还作为识别推理失败、整理训练数据以及指导模型改进的诊断工具（Ouyang 等人，2022 (https://arxiv.org/html/2609.05439#bib.bib19)）。然而，当前的评估方法在*判断*答案和*改进*答案之间仍然存在差距。

第一个局限是许多评估协议对单个答案的适应性不足。诸如精确匹配或浅层文本重叠等结果级指标仅表明最终答案是否与参考匹配，但无法揭示推理的哪个方面较弱（Papineni 等人，2002 (https://arxiv.org/html/2609.05439#bib.bib22)）。近期的“LLM 作为裁判”和细粒度评估方法通过比较回答、分配评级或沿多种技能或标准对输出进行评分来改善这一点（Zheng 等人，2023 (https://arxiv.org/html/2609.05439#bib.bib7)；Liu 等人，2023 (https://arxiv.org/html/2609.05439#bib.bib9)；Ye 等人，2024 (https://arxiv.org/html/2609.05439#bib.bib10)；Kim 等人，2024 (https://arxiv.org/html/2609.05439#bib.bib11)）。生成式评判器通过产生自然语言批评和判断进一步增强了可解释性（Li 等人，2024b (https://arxiv.org/html/2609.05439#bib.bib15)）。尽管如此，它们的评分标准通常是固定在任务或场景层面。此类标准可能涵盖通用的质量维度，但可能无法捕捉特定问答对中出现的具体遗漏、矛盾或违反约束的情况。

第二个局限是评估信号通常不能直接用于生成。诸如 Prometheus 和 LLaVA-Critic 等评估模型可以提供细粒度的分数或反馈，这些信号可用于奖励引导的选择或后续的策略优化（Kim 等人，2024 (https://arxiv.org/html/2609.05439#bib.bib11)；Xiong 等人，2025 (https://arxiv.org/html/2609.05439#bib.bib12)；Schulman 等人，2017 (https://arxiv.org/html/2609.05439#bib.bib20)）。这种范式是有效的，但它通常将评估与生成分开：评估器首先被训练，其信号仅通过额外的优化或选择阶段影响生成。近期的基于批评的生成方法表明，批评可以改善模型输出，例如通过改进错误的推理步骤，或通过从批评数据中训练更强的策略行为（Zheng 等人，2025 (https://arxiv.org/html/2609.05439#bib.bib13)；Wang 等人，2025 (https://arxiv.org/html/2609.05439#bib.bib14)）。然而，批评并不一定基于用于评分的相同细粒度标准，也未明确转化为用于修改同一答案的具体编辑计划。

我们探讨评估是否可以做到既*针对特定样本*又*可操作*。为此，我们提出了 CriticGen，一个生成感知的评估框架，将细粒度评估转化为可控的答案改进。CriticGen 包含两个单独训练的 SFT 组件，通过一个评分标准接口耦合。首先，一个评分标准生成器诱导出特定样本的评分标准 R(q, a) = {(d_i, C_i)}_{i=1}^m，其中每个维度 d_i 与一个分级的评分标准 C_i 配对。评分标准在高级约束类别下组织，包括主观质量、客观正确性和自衍生推理约束，同时针对当前问答对保持特异性。其次，一个基于评分标准的评估-改进模型将每个 (q, a, d_i, C_i) 作为输入，并生成一个结构化的轨迹 (s_i, r_i, u_i, a'_i)：一个分数、一个基于标准的理由、一个可执行的改进建议和一个改进后的答案。在此轨迹中，理由解释了*为什么*答案获得该分数，而建议指定了在重写前*应该改变什么*。因此，CriticGen 使用相同的评分标准连接了要评估的内容、答案的缺陷原因、应该如何修改以及改进后的答案应如何生成。

我们构建了两个监督数据集来支持此框架。RubricData 训练评分标准生成器以产生特定于答案的维度和分级标准。RefineData 训练评估-改进模型在每个评分标准项下产生完整的“分数-理由-建议-重写”轨迹。与奖励建模或偏好优化流程不同，CriticGen 不依赖单独的强化学习阶段。相反，它研究结构化的监督轨迹是否可以直接教会模型将评估转化为可执行的改进信号。

实验验证了 CriticGen 的核心假设：细粒度评估应兼顾实例特定性和可操作性。人工评估显示，CriticGen 诱导的评分标准质量高于静态清单，将相关性/覆盖率从 3.33/4.03 提升至 3.97/4.24。在 RefineData 上，CriticGen-Qwen3.5-9B 实现了最佳的分数相关性，皮尔逊相关系数达到 0.9556，斯皮尔曼相关系数达到 0.9560，优于最强的开源基线和 GPT-5。它还改进了评估的生成组件，将基于标准的理由和可执行建议的最佳基线 F1 值从 0.6369/0.5994 提升至 0.7554/0.7900。更重要的是，CriticGen 将反馈转化为可靠的答案改进，在维持 93.28% 的非劣化率下改进了 73.17% 的答案。在 Feedback Bench 上的跨领域结果进一步表明了基于评分标准的评估能力的一致迁移性。

我们总结贡献如下：
- • 我们提出了针对特定样本的、基于评分标准的评估与改进方法，为每个问答对诱导细粒度评分标准，并利用其指导“分数-理由-建议-重写”轨迹，将评估从描述性判断转变为用于改进答案的可操作控制。
- • 我们构建了 RubricData 和 RefineData 来训练 CriticGen 的两个 SFT 组件，无需单独的奖励优化阶段即可实现评分标准诱导和基于评分标准的改进。
- • 我们在评分标准质量、分数相关性、理由与建议生成、答案改进以及消融研究方面展示了强大的实证性能，验证了基于评分标准的改进的有效性。

## 2 数据构建

CriticGen 需要针对两种相关但不同的能力进行监督：生成特定于实例的评分标准，以及在给定的评分标准下改进答案。因此，我们分两层构建训练数据，均从多样化的候选答案池开始。

#### 多样化答案池。

我们从五个推理导向的数据集中收集问题：GSM8K（Cobbe 等人，2021 (https://arxiv.org/html/2609.05439#bib.bib2)）、LIMO（Ye 等人，2025 (https://arxiv.org/html/2609.05439#bib.bib3)）、NaturalReasoning（Yuan 等人，2025 (https://arxiv.org/html/2609.05439#bib.bib4)）、NuminaMath-CoT（Li 等人，2024a (https://arxiv.org/html/2609.05439#bib.bib5)）和 QwQ-LongCoT-130K（Amphora，2024 (https://arxiv.org/html/2609.05439#bib.bib6)）。这些数据集共同覆盖了算术推理、符号/逻辑推理、开放域自然语言推理、竞赛级数学和长篇 CoT 生成，有助于评分标准和改进模型避免对单一推理风格的过拟合。对于每个问题，我们提示不同规模和能力的生成器模型，从较弱的开源模型到更强的教师模型，以产生多个候选答案。这种多模型生成是有意为之的：使用具有不同错误特征的模型可以导致数据在整个 0-5 质量范围内更均衡地分布。

#### 评分标准监督生成。

对于每个问答对 (q, a)，GPT-5（OpenAI，2025b (https://arxiv.org/html/2609.05439#bib.bib36)）生成一个特定于样本的评分标准 R* = {(d_i*, C_i*)}_{i=1}^m，其中每一项包含一个评估维度及其 0-5 评分标准。维度按照我们方法中使用的三个高级类别组织：主观质量、客观正确性和自衍生约束。我们将每个标注实例存储为 (q, a, R*)，为评分标准诱导提供监督。

#### 评估-改进监督生成。

给定每个评分标准项 (d_i*, C_i*)，GPT-5 进一步充当评判者和改进者。它标注一个分数 s_i*、一个基于标准的理由 r_i*、一个可执行的改进建议 u_i* 和一个改进后的答案 a'_i*。每个生成的实例存储为 (q, a, d_i*, C_i*, s_i*, r_i*, u_i*, a'_i*)，形成基于评分标准的评估到改进学习的监督数据。分数和理由捕捉了答案满足标准的方式，而建议和改进后的答案实例化了评估如何转化为具体的改进。

#### 分数覆盖补全。

为减少分数不平衡，我们检查每个问题的答案是否覆盖了完整的 0-5 质量范围。如果缺少某些分数区域，我们提示 GPT-5 针对缺失的质量级别合成额外的答案。对于这些合成的答案，我们重复进行评分标准监督生成和评估到改进建议生成。此步骤提高了分数覆盖率，并增加了初始生成器模型集合之外的答案多样性。

#### 质量过滤。

我们首先应用共识过滤器以获得评估到改进阶段的可靠数据集。针对相同的问题、答案、评估维度和评分标准，我们要求 Claude Sonnet 4.5（Anthropic，2025 (https://arxiv.org/html/2609.05439#bib.bib38)）、Gemini 3.1 Pro Preview（Google，2026 (https://arxiv.org/html/2609.05439#bib.bib39)；Google AI for Developers，2026 (https://arxiv.org/html/2609.05439#bib.bib40)）独立生成监督数据。仅当他们的分数与 GPT-5 分数一致时，我们才保留样本，丢弃分数不一致的样本。我们进一步应用词汇多样性和近重复过滤器以避免高度模板化或重复措辞的生成。具体来说，我们在问题、答案、评分标准、理由、改进建议和改进后的回复上计算字段级 n-gram 多样性和样本级 n-gram 重叠，并移除其监督与先前保留实例近重复的样本。附录 B（https://arxiv.org/html/2609.05439#A2）提供了过滤细节。最终数据由两个数据集组成：用于动态评分标准诱导的 RubricData，和用于基于评分标准的评估到改进学习的 RefineData。我们将 RubricData 和 RefineData 分别以 5:1 和 50:1 的比例划分为训练集和测试集。表 1（https://arxiv.org/html/2609.05439#S2.T1）总结了最终的数据统计。

表 1：质量过滤后构建的数据集统计。
学习。
参见图 2 图例：CriticGen 框架概览。CriticGen 首先为每个问答对诱导一个特定样本的动态评分标准，然后使用每个评分标准项来条件化一个统一模型，该模型联合生成分数、理由、可执行的改进建议和改进后的答案。

## 3 方法

CriticGen 围绕引言中指出的两个局限进行设计：评估应对每个实例细粒度，且其输出应直接指导生成。相应地，我们将框架分为两个功能：*评分标准诱导*，指定应评估什么；以及*基于评分标准的改进*，使用评估结果改进同一答案。

### 3.1 问题表述

设 q 表示一个问题，a 表示一个候选推理答案。CriticGen 旨在产生一组结构化的基于评分标准的评估和改进输出，而不是仅学习一个标量评估器 f(q, a) → s：

F(q, a) → {(d_i, C_i, s_i, r_i, u_i, a'_i)}_{i=1}^m。  (1)
这里，d_i 是一个评估维度，C_i 是其分级评分标准，s_i 是预测分数，r_i 是分数解释，u_i 是一个可执行的改进建议，a'_i 是改进后的答案。这种表述使得评估不仅通过 (s_i, r_i) 是描述性的，而且通过 (u_i, a'_i) 也是可操作的。

### 3.2 针对特定样本的评分标准诱导

第一个组件为每个问答对诱导一个动态的评分标准。给定 (q, a)，一个评分标准生成器 G 产生一组维度和标准：

R(q, a)