PairCoder++：结对编程作为已验证代码驱动的多模态与结构化工件生成的通用范式

# 结对编程：验证驱动代码生成多模态与结构化工件的通用范式
来源：https://arxiv.org/html/2607.01883
陈俊豪¹  李翔²  陈铭金³  张博然⁴  张浩帆⁵  徐益斌⁶  崔月涵⁷  翁方胜⁸  马飞⁹  田奇⁹  黄如琦¹  赵浩¹,¹⁰
¹清华大学 ²北京大学 ³香港理工大学 ⁴中国科学技术大学 ⁵电子科技大学 ⁶同济大学 ⁷天津大学 ⁸独立研究员 ⁹光明实验室 ¹⁰北京智源人工智能研究院
项目页面：http://yisuanwang.github.io/PairCoder

###### 摘要

代码是大语言模型生成结构化工件（如图表、科学插图、矢量图形、CAD模型、3D场景和硬件设计）的核心媒介——这些工件皆通过编写程序产生。在此模式下，单次推理十分脆弱，因为决定工件是否存在的编译器、渲染器或模拟器对模型而言是不可见的。我们提出了 **PairCoder**，该方法将审查过程锚定于工具链，并实现为双智能体结对编程：Driver 智能体负责编写程序，Navigator 智能体则基于验证证据（诊断信息、执行结果以及当前工件与目标的渲染对比）进行审查；当错误持续存在时，两者互换角色。在来自三家厂商的 17 个公开基准测试和 7 个模型上，PairCoder 显著提升了几乎所有工件的可验证性——依据完整的官方指标套件而非仅执行率（例如，Blender 场景可执行性从 0.20 提升至 0.78；每个模型的 TikZ 编译率提升 10 到 30 个百分点），代价为单模型成本的 2.9 到 9.2 倍（总体约 7 倍）。提升集中在工具链提供信息丰富的预言机且基线留有改进空间的场景，而在预言机较弱时方法持平或轻微退化；我们视结对编程为一种可靠的验证驱动代码生成范式。

**PairCoder++：结对编程作为验证驱动代码生成多模态与结构化工件的通用范式**
陈俊豪¹ 李翔² 陈铭金³ 张博然⁴ 张浩帆⁵ 徐益斌⁶ 崔月涵⁷ 翁方胜⁸ 马飞⁹ 田奇⁹ 黄如琦¹ 赵浩¹,¹⁰
¹清华大学 ²北京大学 ³香港理工大学 ⁴中国科学技术大学 ⁵电子科技大学 ⁶同济大学 ⁷天津大学 ⁸独立研究员 ⁹光明实验室 ¹⁰北京智源人工智能研究院
项目页面：http://yisuanwang.github.io/PairCoder

![[未加标题的图片]](https://arxiv.org/html/2607.01883v1/x1.png)
图 1: PairCoder 在每一个工件领域的代码生成中均有提升，而不仅仅是 Python 程序合成。 (a) 所有 17 个公开基准在 gpt-5.4（关闭思考）上的结果：浅色条为单模型结果，深色条（粗体值）为 PairCoder 结果，按基准家族着色，右侧为绝对增益（pp）；每个条代表该基准的主要官方指标，即 [0,1] 内的可执行/编译/渲染/通过率。P3D-Bench 显示其文本到 3D 轨道（400 个案例）；其图像到 3D 和装配到 3D 轨道作为三案例演示在附录中报告（表 14 (https://arxiv.org/html/2607.01883#A4.T14)）。 (b) 跨越六种模态的代表性工件：图表 (ChartMimic)、科学插图 (PandasPlotBench)、图表 (DaTikZ)、CAD 模型 (GenCAD-Code)、3D 场景 (3DCodeBench)、矢量图形 (StarVector)。

## 1 引言

结构化数据与多模态内容的代码生成要求模型编写程序，其价值体现在渲染出的工件上：如 TikZ 科学插图、matplotlib 图表、SVG 图标、CAD 机械零件程序、Blender 脚本 3D 场景、React 项目网页应用以及 Verilog RTL 电路等 (Belouadi et al., 2024a (https://arxiv.org/html/2607.01883#bib.bib65); Yang et al., 2024a (https://arxiv.org/html/2607.01883#bib.bib60); Wu et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib85); Galimzyanov et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib70); Rodriguez et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib44); Alam and Ahmed, 2024 (https://arxiv.org/html/2607.01883#bib.bib5); Gao et al., 2026 (https://arxiv.org/html/2607.01883#bib.bib38); Cui, 2024 (https://arxiv.org/html/2607.01883#bib.bib27); Guo et al., 2025b (https://arxiv.org/html/2607.01883#bib.bib1); Liu et al., 2023b (https://arxiv.org/html/2607.01883#bib.bib56); Lu et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib49))。这类任务广泛有用且具有特定难点：程序必须在模型编写时不可见的外部工具链（编译器、渲染器或模拟器）下存活，且工件必须在结构、语义和几何上与目标匹配。即使强大的 LLM (OpenAI, 2023 (https://arxiv.org/html/2607.01883#bib.bib35); Bai et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib62); Liu et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib12); Li et al., 2023b (https://arxiv.org/html/2607.01883#bib.bib42)) 也经常输出无法编译、无法运行或渲染结果与要求相去甚远的程序 (Li et al., 2023c (https://arxiv.org/html/2607.01883#bib.bib59); Zhang et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib16); Tian et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib29))。现有的解决方法分为两类。一类是扩展协作：团队式多智能体框架 (Hong et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib10); Qian et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib18); Li et al., 2023a (https://arxiv.org/html/2607.01883#bib.bib43); Wu et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib14)) 和角色特定流水线 (Huang et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib79); Dong et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib41); Islam et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib83); Chen et al., 2023c (https://arxiv.org/html/2607.01883#bib.bib8)) 提高了正确性，但付出了高达一个数量级的 token 开销，最近特定域中的智能体创作系统也显示出相同的闭环趋势 (Pfaff et al., 2026 (https://arxiv.org/html/2607.01883#bib.bib3); Chen et al., 2025a (https://arxiv.org/html/2607.01883#bib.bib32))。另一类保持单一模型，并增加基于运行时反馈的自我修正 (Shinn et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib7); Chen et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib76); Madaan et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib20); Gou et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib21))，这成本较低，但继承了单一视角的盲点。这两类方法都没有提供一种跨领域通用的机制，让独立的审查者锚定在工具链上——而这正是代码驱动创作失败的关键所在。我们认为，这种任务需要最小的协作结构，其中独立的审查者基于验证，而人类软件工程中早已存在这种结构：结对编程 (Umapathy and Ritzhaupt, 2017 (https://arxiv.org/html/2607.01883#bib.bib82); Lui and Chan, 2006 (https://arxiv.org/html/2607.01883#bib.bib19); Hannay et al., 2009 (https://arxiv.org/html/2607.01883#bib.bib63))。我们提出 PairCoder，一个双智能体框架，其核心思想是将代码驱动生成转化为工具链验证的对话：一个智能体编写程序，另一个根据具体的验证证据进行审查，键盘控制权随诊断结果转移。PairCoder 用三个组件实现了这一思想。(1) **Driver 和 Navigator 角色与自我镜像提示**：Driver 生成和修订，Navigator 审查，各自在共享任务和记忆上使用角色特定的系统提示，保持对同一代码的两个真正不同的视角。(2) **基于验证的审查**：每个候选程序由基准自身的工具链编译、执行或渲染，并将证据（包括诊断信息、测试结果以及当前工件与目标并排的渲染图）附加到审查中；Navigator 必须引用具体错误或标记 `[NOERROR]` 以接受，这防止了对已正确程序的反复震荡。(3) **错误触发的角色切换与质量回退**：持续错误会交换角色，使诊断出故障的智能体负责修复；预算耗尽时返回具有最佳验证质量的候选，而非最后一个。
在跨越程序合成、多语言代码、数据科学、Web、硬件和六种工件模态的 17 个公开基准上，使用来自三家厂商的 7 个模型，PairCoder 几乎改进了每一个其工件可验证的基准（图 1 (https://arxiv.org/html/2607.01883#S0.F1)），依据完整的官方指标套件而非仅仅是执行率：Blender 场景可执行性从 0.20 提升到 0.78，TikZ 编译率在每个模型上增益 10 到 30 个百分点，图表、SVG 和 CAD 基准在执行率、SSIM 和 CLIP 上均有提升；而在经典合成任务中，PairCoder 保持竞争力并常常进一步提升（例如 gpt-5.4-mini 上 LiveCodeBench pass@1 从 0.94 到 0.99），成本为单次推理的 2.9 到 9.2 倍。一个一致的模式出现：增益集中在工具链提供信息丰富的预言机且基线留有改进空间的地方；在预言机饱和时持平，在预言机较弱时轻微退化。
我们的贡献有三点：(1) PairCoder，一个双智能体框架，将结对编程锚定在工具链验证中，统一了基于验证的审查和错误触发的角色切换，成为一个跨模态的协议；(2) 首批系统性证据表明结对编程从 Python 合成迁移到结构化数据和多模态工件生成，在 17 个基准、7 个模型和三家厂商上改善了可执行性、视觉相似度（SSIM、CLIP、DINO、SigLIP-2）和几何指标（Chamfer）；(3) 一个定性启发规则：增益随预言机信息量和基线改进空间而扩大，从而刻画了协作何时有帮助、持平或浪费。

## 2 相关工作

### 2.1 大语言模型

LLMs (Achiam et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib52); Touvron et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib74); Bai et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib62); Hui et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib53); Yang et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib46); Liu et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib12); Guo et al., 2025a (https://arxiv.org/html/2607.01883#bib.bib23)) 已将代码打造成其最具影响力的应用领域之一 (Chen et al., 2021 (https://arxiv.org/html/2607.01883#bib.bib77); Liu et al., 2023a (https://arxiv.org/html/2607.01883#bib.bib15); Jiang et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib73))，并得到代码专用模型家族 (Nijkamp et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib22); Zheng et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib24); Li et al., 2023b (https://arxiv.org/html/2607.01883#bib.bib42); Lozhkov et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib86); Roziere et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib34)) 和日益严格的基准 (Jain et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib51); Zhuo et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib47); Lai et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib84); Jimenez et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib30); Zhang et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib81); Chen et al., 2025b (https://arxiv.org/html/2607.01883#bib.bib40); Guo et al., 2025b (https://arxiv.org/html/2607.01883#bib.bib1)) 的支持。基础模型也涉及多模态感知、多模态生成和鲁棒性 (Chen et al., 2023b (https://arxiv.org/html/2607.01883#bib.bib33); Miao et al., 2026 (https://arxiv.org/html/2607.01883#bib.bib36); Ye et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib57); Chen et al., 2023a (https://arxiv.org/html/2607.01883#bib.bib55), 2026c (https://arxiv.org/html/2607.01883#bib.bib4))，但单次推理仍然容易出现逻辑错误和幻觉 (Zhang et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib16); Tian et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib29); Ji et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib58))。PairCoder 是模型无关的：任何这些模型都可以扮演 Driver 或 Navigator，协作在所选模型提供的任何基础能力之上增加了可靠性。

### 2.2 结构化数据生成

一个快速成长的研究方向，最近以多模态代码智能为主题进行了综述，将程序视为生成结构化和多模态内容的媒介，其中代码的价值体现在渲染出的工件上：科学插图 (Belouadi et al., 2024a (https://arxiv.org/html/2607.01883#bib.bib65), b (https://arxiv.org/html/2607.01883#bib.bib2))、图表和绘图 (Yang et al., 2024a (https://arxiv.org/html/2607.01883#bib.bib60); Wu et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib85); Galimzyanov et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib70); Yang et al., 2024c (https://arxiv.org/html/2607.01883#bib.bib67); Zhao et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib69))、矢量图形和动画 (Rodriguez et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib44); Wu et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib45); Chen et al., 2026b (https://arxiv.org/html/2607.01883#bib.bib75); Qiu et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib50))、服装版型 (Weng et al., 2026a (https://arxiv.org/html/2607.01883#bib.bib25))、参数化 CAD (Alam and Ahmed, 2024 (https://arxiv.org/html/2607.01883#bib.bib5); Alrashedy et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib31))、程序化 3D 场景 (Hu et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib9); Sun et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib71); Gao et al., 2026 (https://arxiv.org/html/2607.01883#bib.bib38))、前端代码 (Si et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib61); Cui, 2024 (https://arxiv.org/html/2607.01883#bib.bib27)) 和硬件 RTL (Liu et al., 2023b (https://arxiv.org/html/2607.01883#bib.bib56); Lu et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib49))。这些基准使用感知和几何指标评估渲染后的工件 (Wang et al., 2004 (https://arxiv.org/html/2607.01883#bib.bib37); Radford et al., 2021 (https://arxiv.org/html/2607.01883#bib.bib54); Oquab et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib64); Tschannen et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib6))，但所评估的方法几乎全是单次推理生成器。另一条平行的研究方向直接使用学习到的模型而非程序合成多模态内容，涵盖 3D 编辑、纹理、绑定、骨架和以人为中心的视频生成 (Weng et al., 2026b (https://arxiv.org/html/2607.01883#bib.bib78); Chen et al., 2026e (https://arxiv.org/html/2607.01883#bib.bib11); Sun et al., 2025 (https://arxiv.org/html/2607.01883#bib.bib26), 2026 (https://arxiv.org/html/2607.01883#bib.bib28); Chen et al., 2026d (https://arxiv.org/html/2607.01883#bib.bib68), a (https://arxiv.org/html/2607.01883#bib.bib48))；而 PairCoder 则坚持程序作为媒介，这使得工具链本身可作为验证器。PairCoder 正针对这类任务，并改进完整的官方指标套件而非仅仅执行成功率；它是近期综述所呼吁的以验证为中心的多模态代码智能的具体实例。

### 2.3 多智能体协作

两条工作路线应对单次推理的脆弱性。多智能体系统在角色间分工，从模拟团队和对话框架 (Hong et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib10); Qian et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib18)) 到专用流水线 (Huang et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib79); Dong et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib41); Islam et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib83); Chen et al., 2023c (https://arxiv.org/html/2607.01883#bib.bib8))，这些方法通过大幅增加计算预算来换取正确性。自我修正方法在一个模型内迭代，利用执行反馈 (Shinn et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib7); Chen et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib76); Madaan et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib20); Gou et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib21))、模拟器输出 (Chen et al., 2025a (https://arxiv.org/html/2607.01883#bib.bib32); Pfaff et al., 2026 (https://arxiv.org/html/2607.01883#bib.bib3)) 或基于解析的验证器 (Sun et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib17); Ni et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib66); Guo et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib39); Shridhar et al., 2023 (https://arxiv.org/html/2607.01883#bib.bib80); Si et al., 2024 (https://arxiv.org/html/2607.01883#bib.bib72); Chen et al., 2025c (https://arxiv.org/html/2607.01883#bib.bib13))。这些方法在单一 LLM 的视界内运作；如果模型无法独立定位错误，自我修正就会失败。PairCoder 引入第二个具有同等能力的智能体，该智能体的审查基于工具链输出的具体证据。这种双智能体设计比全团队方法预算更低，同时比单一模型的自我修正更具独立性，并且它直接解决代码驱动多模态生成中普遍存在的验证差距。