TriAdReview：面向多模型技术文档生成的三角对抗评审架构

# 三角对抗审阅架构用于多模型技术文档生成
来源: https://arxiv.org/html/2606.15074
周志强, 戴俊良, 凌旭 湖南化工职业技术学院, 湖南, 中国 willenchow@126\.com

###### 摘要

大型语言模型(LLMs)越来越多地被用于技术文档生成，然而单一模型的输出常常存在过度工程化、安全盲区和覆盖不全等问题。我们提出TriAdReview，一种三角对抗审阅架构，它采用两个独立的审阅模型（工程视角和边界视角）以及一个三角判断机制，迭代改进生成器模型的输出。我们跨五个基准任务——架构设计、代码生成、方案评审、安全审计和需求分析——评估了TriAdReview，使用了三种配置：单模型（基线）、双模型（单一审阅）和三模型（完整系统）。跨75次实验（每格n=5）的结果显示，三模型配置相比单模型基线实现了10.1%的整体提升（26.2分 vs. 23.8分，满分50；p<0.05，配对t检验），尤其在安全审计（+27.6%）、代码生成（+20.8%）和架构设计（+15.6%）方面提升显著。第二个评分者（mimo-v2.5-pro）确认了趋势但效果较小（+2.7%），表明中等程度的评分者间一致性。然而，系统在需求分析任务上出现了-7.5%的退化，揭示了对抗性审阅架构存在偏向简化的结构性缺陷，这不利于注重完整性的任务。我们通过任务类型框架分析了这一边界条件，并证明审阅提示适配可部分缓解该问题。我们的发现首次从实证角度刻画了多模型对抗审阅何时有益、何时有害，对协作式AI系统的设计具有启示意义。

## 1 引言

大型语言模型(LLMs)在技术文档生成中的应用——包括系统架构方案、代码实现和安全审计——已变得十分普遍。然而，单一模型的输出常常表现出特征性缺陷：对非关键组件过度工程化、安全盲区，以及由训练数据流行度而非工程适配度驱动的技术选型。

缓解这些缺陷的一个自然方法是*多模型审阅*：在最终确定前，用一个或多个辅助模型审阅并批评主模型的输出。这借鉴了人类同行评审过程，其中独立审阅者能发现原作者遗漏的错误。

然而，多模型审阅系统的设计空间很大且认知不足。关键问题包括：

- •如何提示审阅模型——作为对抗性批评者、平衡评估者，还是建设性协作者？
- •如何解决生成器和审阅者之间的分歧？
- •增加更多审阅者是否总能提升输出质量，还是存在收益递减？
- •是否存在某些任务类型，审阅架构会系统性地失败？

在本文中，我们提出TriAdReview（三角对抗审阅），该系统通过三个设计决策来解决这些问题：(1) 双视角审阅者涵盖工程鲁棒性和安全边界；(2) 三角判断机制，争议由第三方模型而非多数投票解决；(3) 带被拒建议记忆的迭代细化。

我们在五个不同的技术写作任务上评估了TriAdReview，并报告三个主要发现：

1. 对抗审阅对“去脂”任务有效。在架构设计、代码生成和安全审计上，三模型实现了平均+21.3%的提升，主要通过消除过度工程化和技术碎片化。
2. 对抗审阅损害注重完整性的任务。在需求分析上，系统退化了-7.5%，因为被训练为挑战和简化的审阅模型移除了必要组件。
3. 任务类型感知至关重要。针对需求分析任务的简单提示适配可部分缓解退化，表明审阅架构必须针对任务类型进行调优。

## 2 相关工作

### 2.1 多智能体LLM系统

近期工作探索了用于提升LLM输出质量的多智能体架构。Wu等人[9 (https://arxiv.org/html/2606.15074#bib.bib9)]提出了AutoGen，一个支持灵活智能体拓扑的多智能体对话框架。Liang等人[5 (https://arxiv.org/html/2606.15074#bib.bib5)]引入了用于推理任务的多智能体协作网络。我们的不同之处在于专门聚焦于技术文档生成中的*对抗性*审阅，其目标不是推理准确性，而是工程质量。

### 2.2 对抗与辩论式方法

利用LLMs相互辩论和批评的想法已在多个背景下被探索。Du等人[3 (https://arxiv.org/html/2606.15074#bib.bib3)]表明多智能体辩论可提高事实准确性。Liang等人[4 (https://arxiv.org/html/2606.15074#bib.bib4)]证明鼓励LLM辩论中的发散思维可改善推理。Chan等人[1 (https://arxiv.org/html/2606.15074#bib.bib1)]提出了ChatEval，一个使用辩论进行评估的多智能体框架。我们的三角判断机制通过引入带有明确裁决类别的正式争议解决流程，扩展了这些想法。

### 2.3 迭代细化

自我细化方法[6 (https://arxiv.org/html/2606.15074#bib.bib6),7 (https://arxiv.org/html/2606.15074#bib.bib7)]表明LLMs可以通过迭代反馈改进自身输出。然而，这些方法通常使用同一模型进行生成和审阅，造成了“自我审阅”问题，即审阅者共享生成者的盲区。我们的架构通过使用*独立*的审阅模型（具有不同的训练分布和提示配置）来解决这一问题。

### 2.4 代码与文档质量评估

代码和文档质量的自动评估已被广泛研究。Chen等人[2 (https://arxiv.org/html/2606.15074#bib.bib2)]评估了LLM代码生成能力。Wang等人[8 (https://arxiv.org/html/2606.15074#bib.bib8)]引入了用于改善推理输出的自一致性。我们的工作聚焦于通过结构化审阅来改善输出的*过程*，而非事后评估。

## 3 方法

### 3.1 系统概述

TriAdReview 以三阶段流水线运作：生成、审阅和迭代。系统包含三个具有不同角色的模型：

- •生成器 (DeepSeek v4 Pro): 产生初始技术方案，并根据反馈进行迭代。
- •审阅者 A (agnes-2.0-flash): 提供以工程为中心的审阅，挑战设计决策，识别过度工程化。
- •审阅者 B (mimo-v2.5-pro): 提供以边界为中心的审阅，识别失败场景、安全漏洞和可靠性问题。

图1 (https://arxiv.org/html/2606.15074#S3.F1) 展示了系统架构。

见标题图 1: TriAdReview 系统架构。生成器模型产生初始方案，由两个独立审阅者（工程视角和边界视角）并行审阅。生成器和审阅者之间的争议通过三角判断解决，其中第三方模型（既非生成器也非被争议的审阅者）进行裁决。
### 3.2 审阅协议

每个审阅者接收完整的方案文本（为提高效率截断至3000字符），并输出一个结构化的JSON数组，包含改进建议。每个建议包含：

- •id: 唯一标识符 (例如 S1, B1)
- •severity: 以下之一：critical, major, minor
- •suggestion: 具体、可操作的改进
- •reasoning: 为什么当前设计如果不做此更改会失败

审阅者A (agnes) 被提示为“工程审阅专家和魔鬼代言人”，必须挑战设计决策，并同时建议添加和移除。审阅者B (mimo) 被提示为“方案破坏者”，必须识别导致系统崩溃或数据丢失的场景。

### 3.3 三角判断机制

当生成器拒绝审阅者的建议时，争议进入三角判断过程。关键设计原则是*法官必须是与被驳回建议的审阅者不同的模型*。具体而言：

- •agnes 被驳回的建议由 mimo 判断
- •mimo 被驳回的建议由 DeepSeek 判断
- •DeepSeek 被驳回的建议由 agnes 判断

这种循环判断拓扑防止了自我裁决，并确保每个争议都由具有不同视角的模型进行评估。法官输出以下三种裁决之一：

- •suggestion_wins: 无论生成器的反对意见如何，审阅者的建议被采纳。
- •main_wins: 生成器的驳回被维持。
- •compromise: 找到了中间地带（例如，“保留该特性但添加安全审计”）。

### 3.4 迭代细化

系统运行可配置的轮数（默认：2）。在每一轮中，生成器接收：

1. 被接受的建议（必须实施）
2. 已解决的争议（必须按裁决执行）
3. 之前被拒绝建议的记忆（以防止持续性分歧）

然后生成器生成一个修订后的方案，该方案整合了所有强制更改，同时在非争议方面保持其工程判断。

### 3.5 实验配置

我们评估三种配置以隔离每个组件的贡献：

表 1: 实验配置。

## 4 实验设置

### 4.1 基准任务

我们设计了五个基准任务，涵盖不同的技术写作类别（表2 (https://arxiv.org/html/2606.15074#S4.T2)）。每个任务要求模型根据结构化需求提示生成完整的技术文档。

表 2: 基准任务。
### 4.2 评估指标

每个输出由两个独立的LLM评分者——DeepSeek v4 Pro (GPT评分者) 和 mimo-v2.5-pro (MIMO评分者)，温度均为0.3——在五个维度上评分，每个维度1-10分。我们报告GPT评分者的结果作为主要分析，并使用MIMO评分者的结果进行评分者间信度分析：

1. 完整性：必要方面的覆盖程度
2. 技术深度：技术细节的充分性
3. 可行性：实际可实施性
4. 新颖性：独特见解或创新解决方案
5. 清晰度：表达清晰度和结构连贯性

总分为五个维度之和（范围：5-50）。

### 4.3 实验协议

每个配置-任务对重复5次 (n=5) 以考虑随机变化，共计5×3×5=75次实验。输出由两个独立的LLM评分者——DeepSeek v4 Pro (GPT评分者) 和 mimo-v2.5-pro (MIMO评分者)——在温度0.3下评分，以提供评分者间信度。所有实验使用相同的API端点和模型版本。实验在配备RTX 3090 GPU（用于本地模型推理）和DeepSeek、agnes的云端API的服务器上进行。

## 5 结果

### 5.1 整体性能

表3 (https://arxiv.org/html/2606.15074#S5.T3) 展示了各配置下所有任务的平均分数。

表 3: 整体平均分数 (GPT评分者，跨所有5个任务，每格n=5)。三模型配置获得了最高总分 (26.2)，比单模型基线提升了10.1% (p<0.05，配对t检验，Cohen's d=0.43)。第二个评分者 (mimo-v2.5-pro) 确认了趋势但效果较小 (C=30.2 vs. A=29.4, +2.7%, 不显著)，表明中等程度的评分者间一致性；真实效果可能在2.7%到10.1%之间。维度级别的最大提升在于新颖性 (+1.1分, +31%)，表明对抗性审阅促使生成器产生更具创造性的解决方案。

### 5.2 任务级分析

图2 (https://arxiv.org/html/2606.15074#S5.F2) 展示了每种配置下各个任务的分数。

见标题图 2: 按配置划分的任务级质量分数。误差线表示5次重复的标准差。改进幅度因任务类型而异 (图3 (https://arxiv.org/html/2606.15074#S5.F3)):

见标题图 3: 三模型相对于单模型的每任务改进。绿色表示改进；红色表示退化。- •T4 (安全审计): +27.6%——最大改进。审阅者B以边界为中心的视角识别了单模型遗漏的安全漏洞，所有五个维度均有增益 (完整性 +1.6, 技术深度 +1.6, 新颖性 +2.0)。
- •T2 (代码生成): +20.8%——显著改进。对抗性审阅提升了新颖性 (2.8→4.6) 和清晰度 (5.2→6.6)。
- •T1 (架构设计): +15.6%——审阅者成功识别了过度工程化并建议简化。
- •T3 (方案评审): -0.8%——无有意义变化。评审类任务本质上是对抗性的，使得额外审阅变得冗余。
- •T5 (需求分析): -7.5%——退化。对抗性审阅从一个需要完整性的任务中移除了必要组件 (完整性: 4.4→2.8)。

### 5.3 维度级分析

图4 (https://arxiv.org/html/2606.15074#S5.F4) 展示了跨配置的维度级比较。

见标题图 4: 左图：各配置的整体维度分数。右图：三模型相对于单模型的每维度差值。三模型在五个维度中的四个上有所提升，其中新颖性 (+1.1) 和技术深度 (+0.4) 增益最大。完整性总体边际增长 (+0.1)，我们将其归因于对抗性审阅偏向简化的结构性缺陷。

### 5.4 过程指标

在所有配置C的实验中，系统处理了212次争议裁决。图5 (https://arxiv.org/html/2606.15074#S5.F5) 展示了裁决分布和每任务接受率。

见标题图 5: 左图：所有配置C争议的裁决分布。右图：按任务划分的建议接受率。关键观察：

- •main_wins 占主导地位 (58.0%)：在大多数争议中，生成者的独立判断被维持。
- •compromise 频繁出现 (26.9%)：约四分之一的争议产生了双方最初都未提出的细致中间地带解决方案。
- •suggestion_wins 罕见但有影响力 (15.1%)：当审阅者正确时，他们的建议解决了关键问题（通常是安全或过度工程化）。

### 5.5 成本-质量权衡

图6 (https://arxiv.org/html/2606.15074#S5.F6) 展示了跨配置的成本-质量关系。

见标题图 6: 成本-质量权衡。三模型每次运行成本高7.0倍，但质量提升10.1%。三模型每次运行成本为0.117美元，而单模型为0.017美元 (7.0倍)。然而，三模型的每质量点成本为0.0045美元，单模型为0.0007美元，表明质量提升并非纯粹是花费更多令牌的函数。

## 6 分析

### 6.1 为什么对抗性审阅有助于“去脂”任务

任务T1 (架构设计)、T2 (代码生成) 和T4 (安全审计) 有一个共同特征：生成器模型倾向于*过度生成