令人印象深刻的论文展示了框架如何显著改变编码智能体的结果。

框架在模型产出中确实扮演着关键角色。

GPT-5.5在同一组1000个任务上分别运行于Claude Code和Codex环境。使用专业PPT工作流后，它在其中一个框架中表现提升，在另一个框架中却有所下降。

即使在提示词完全相同的情况下，框架也会改变评分结果。

ReFigBench要求编码智能体将真实的arXiv综述图重建为可编辑的PPT幻灯片，同时保留文本、布局和连接关系。

该基准覆盖GPT、Claude、MiMo和MiniMax四个模型家族的十种配置，通过工件检查、两类LLM裁判评分以及盲测人类对比进行评估。

感知能力仍是主要瓶颈。专业工作流在所有配置中都移除了原生连接器，但在大多数对决中，人类评审仍更倾向于其渲染效果。

论文链接：https://arxiv.org/abs/2609.18844

与论文对话：https://academy.dair.ai/papers/refigbench-benchmarking-scientific-figure-reconstruction-as-editable-powerpoint-2609.18844…

ReFigBench：可编辑PPT工件形式的科学图表重建基准测试

来源：https://arxiv.org/html/2609.18844
Chi Wei、Yitai Li、Xinping Bi、Guhong Chen、Chenghao Sun、Haoxiang Yang、Qingwen Li、Kai Yan、Hong Li、Bo Li
1深圳大学 2中科院自动化所 3中国科学院大学 4中国铁塔股份有限公司 5南方科技大学 ∗通讯作者.

摘要

多模态编码智能体有望将视觉输入转化为可用的工件，它们通过框架运行——这是围绕模型的工具层、上下文管理层和执行环境。现有评估通常孤立地考察短期工具调用、API跟踪或截图相似度，这些代理指标的低分无法反映问题是出在模型识别错误、规划不当还是框架失效。我们研究科学综述图重建任务，该任务要求将源图像转化为可编辑的PPT幻灯片，同时保留文本、拓扑结构、布局和原生文档结构。我们提出ReFigBench基准测试框架，基于从arXiv论文中检索的1000张真实综述图构建，提供完整的溯源信息。来自四个模型家族的编码智能体分别在直接代码生成和专业PPTX工作流两种工作模式下重建每张图表，最强模型还在两个商业框架中运行，形成十种配置。评估结合了确定性工件检查、两个模型家族裁判的重复自动评分，以及盲测人类对比。感知能力仍是瓶颈，迭代渲染仅能部分补偿。工作流优化能否转化为质量提升取决于模型及其运行框架，因为同一模型在一个框架中受益于专业工作流，在另一个框架中反而受损；即使在相同直接提示下，框架也会改变评分。专业工作流在所有配置中都消除了原生连接器，但人类评审在多数对决中仍偏好其渲染效果，即使最强智能体也未达评分标准上限。这些结果揭示了保真度与可编辑性之间的矛盾，这是实用型多模态文档智能体面临的核心挑战。

1引言

多模态编码智能体正在快速发展。它们运行在Claude Code和Codex等框架中，能够读取图像、编写程序、调用工具并进行长时间迭代，现在被要求将视觉输入转化为可用的工件。框架并非实现细节，而是围绕模型管理上下文构建、工具交互、流程编排和验证的基础设施层，智能体表现是模型与该层级共同作用的结果（Zhang等人，2026）。现有评估体系尚未跟上发展，通常孤立地考察短期工具调用、API跟踪或截图相似度，因此低分无法揭示问题是出在图像误读、规划不当还是技术栈失效。

图1：重建契约。左上：作为栅格图像发布的源综述图。A、B、C：三种候选重建结果——栅格粘贴（A）、箭头反转且符号更改的可编辑幻灯片（B）、忠实的可编辑幻灯片（C）。标记显示每种方案是否保持源图像渲染效果和原生可编辑性。每种方案都生成包含单张幻灯片的PPTX工件。

科学综使图重建使这一差距具象化。综述图将方法压缩到单页中，方框表示模块，虚线标记梯度路径，重复符号表示共享参数，但发布资产通常是栅格图像。将图像转化回幻灯片不仅需要复制像素，还必须恢复文本框、形状、连接器、分组和阅读顺序等潜在文档结构。这种双重需求击败了评估捷径。仅基于截图的评估奖励直接粘贴源图像的幻灯片，仅基于对象数量的评估奖励反转箭头或虚构模块的幻灯片。图1说明了由此产生的重建契约。这引出本文的核心问题：当多模态编码智能体将真实科学图表转化为PPT幻灯片但结果不理想时，瓶颈是模型的视觉识别能力、模型的智能体能力，还是其运行的框架？

先前工作评估了基于指令的幻灯片创建与编辑（Guo等人，2024；Zheng等人，2025；Ge等人，2025）、从截图和图表到代码的重建（Si等人，2025；Yang等人，2025a；Roberts等人，2024），以及智能体向视觉软件领域的泛化（Yang等人，2025b）。尚无研究固定真实科学图表作为唯一视觉证据、要求单页PPTX工件、审计原生可编辑性并通过配对比较隔离框架工作流层。ReFigBench填补了这一空白。

ReFigBench包含从四个arXiv领域检索的1000张综述图，提供完整溯源信息。来自GPT、Claude、MiMo和MiniMax家族的编码智能体分别通过直接代码生成和专业PPTX工作流解决每个任务。最强模型GPT-5.5同时在Claude Code和Codex中运行，因此在模型固定的情况下观察框架层级。评估结合确定性工件检查、两个裁判家族的重复评分标准打分，以及盲测人类对比。配对实验将失败归因于感知能力（迭代渲染仅能部分补偿）、模型与框架共同决定的工作流优化回报，以及在所有配置中消除原生连接器的工作流层。当前智能体及其框架倾向于牺牲文档结构换取视觉模仿。

我们的贡献有三方面：首先，我们将科学图表重建表述为要求保真度和可编辑性的工件任务，并将框架作为显式因素而非隐藏常量；其次，我们提出ReFigBench，采用ORBIT可追溯检索流程构建，配合工件检查、五维评分标准、对象审计、两个裁判家族的重复评分和盲测成对比较的评估体系；第三，我们报告了涵盖十种配置和10000个工件的配对研究，将失败归因于感知能力、模型能力和框架，在相同直接提示下于两个框架中运行同一模型，并表明工作流专业化会牺牲可编辑性。

2相关工作

演示智能体与基准测试。PPTC通过检查最终文件评估多轮PPT创建与编辑，但其任务以文本指令形式给出，因此成功仅取决于指令遵循度而非对视觉源的保真度（Guo等人，2024）。PPTAgent（Zheng等人，2025）通过参考幻灯片分析从文档生成演示文稿，AutoPresent（Ge等人，2025）通过程序生成从自然语言合成幻灯片，两者仍以文本规范为基础。PPT-Eval（Gandhi等人，2026）将计算机使用评估扩展到PPT任务，采用部分得分评分标准，但这些标准评估任务完成度，从未审计原生对象结构。ReFigBench完全移除文本规范，智能体必须仅从像素恢复内容和结构，评估必须检查对象树而非指令符合度。

结构化视觉重建。现有重建任务基准领域不同但汇聚于两个评估终点。一条路线止于视觉相似度：Design2Code（Si等人，2025）比较再生网页与截图输入，ChartMimic（Yang等人，2025a）根据渲染结果评分图表代码，Vision2Code（Periasami等人，2026）在五个视觉领域应用相同方法。第二条路线止于预测代码或结构：Image2Struct（Roberts等人，2024）重渲染预测源进行比较，DiagramGenBenchmark和VCG-Bench（Wei等人，2025；Su等人，2026）评分从文本生成和修正的图表代码。SciFig（Huang等人，2026）反向操作，从论文文本生成流程图。两条路线都在像素或代码正确时终止，无人检查输出是否仍为可操作文档对象。ReFigBench将检查置于核心，因为原生文本框、形状和连接器的审计才能阻止完美视觉栅格粘贴通过重建评估。

通过工件与框架评估。SWE-bench（Jimenez等人，2024）确立可执行仓库状态为软件智能体的评估对象，SWE-bench Multimodal（Yang等人，2025b）表明为基准测试调优的智能体系统在任务视觉化时泛化能力差。最近一篇立场论文主张，智能体在长周期任务上的表现是模型与执行框架的共同产物，不应在未披露后者的情况下比较（Zhang等人，2026）。开放式工件评分也依赖可靠性存疑的模型裁判，因为LLM评估器偏好自身生成内容（Panickssery等人，2024），多模态评判与人类偏好一致性不稳定（Chen等人，2024；Gu等人，2025）。ReFigBench采纳这些教训：成功单位是PPTX工件，每种配置都公开其框架和工作流，评分标准来自两个裁判家族的重复运行，并以盲测人类比对为锚点。附录汇总了代表性基准的相同差距。

3ReFigBench

任务与工件契约

设x为源图表。配置是三元组(m,h,w)，包含模型m、提供工具、上下文管理和执行环境的智能体框架h，以及固定重建工具链的工作流w。智能体产生y=(P,C)，其中P是包含单张幻灯片的PPTX文件，C是其生成程序。验证器应用确定性门控g(P)\in\{0,1\}，要求P能打开、包含且仅包含一张幻灯片并可渲染。随后生成渲染结果R(P)和原生对象树O(P)。ReFigBench评估R(P)与x的相似度以及O(P)的可编辑性。缺失、损坏、多幻灯片或不可渲染的工件g(P)=0得分为零。

智能体只能读取挂载的源图表。直接工作流要求它们编写程序，使用通用PPTX库构建幻灯片。专业工作流调用围绕PPTX构建的过程和文档工具链。两者都必须返回代码和PPTX文件。三个模型在各自家族附带框架中运行，GPT-5.5在两个框架中运行。工作流比较固定(m,h)仅变化w，衡量每种工作流从输入到工件的完整价值。对GPT-5.5的框架比较额外固定(m,w)。直接指令在两个框架中逐字相同。直接配对因此隔离框架因素，而每个框架提供自己的专业工具链。运行时图像、库和提示词见附录。

ORBIT数据集构建

我们使用ORBIT构建ReFigBench，这是一个基于标题识别和可追溯性的综述图检索流程。ORBIT从2017年6月开始，随机排序的月度窗口中采样论文候选，涵盖cs.AI、cs.CL、cs.CV和cs.LG领域。它下载固定版本的arXiv源包，枚举图表资产，使用包含overview、framework、architecture、pipeline和method等术语的标题证据，对综述图候选进行排序。严格信号门控拒绝无此类证据的论文。对于排名第一的合格图表，ORBIT记录arXiv版本、标题、源路径、许可证字符串、选择证据和内容哈希。

这种构建服务于两个目标：标题引导使套件聚焦于拓扑结构承载整篇论文方法的图表；可追溯性使每次选择都可审计。严格门控接受5146张图表，人工审计确认其中98%是真实综述图，发布的1000张图表构成该库的可重现随机前缀，由重建和评分成本固定为此规模。每个发布任务源自不同论文的一张合格图表。附录详述构建阶段、溯源字段和发布计划，在遵循记录源许可证的前提下发布元数据、注释和重建脚本。

图2：1000张ReFigBench图表在cs.AI、cs.CL、cs.CV和cs.LG领域的源分布。表1：1000张ReFigBench源图表的图像级统计。解码面积以百万像素（MP）计。

图2显示源分布，倾向于cs.CV领域，表1汇总图像统计。源跨越近一千种不同分辨率，解码面积在尾部达到数百万像素，且大多数图表为横向，因此没有固定画布模板适用于该基准。输入也以压缩文件大小无法体现的沉重方式呈现——