论文页面 - ShapeCodeBench：面向合成形状场景的可持续感知到程序重建基准

来源：https://huggingface.co/papers/2605.11680

摘要

ShapeCodeBench 提出了一个面向感知到程序重建的合成基准，模型需从栅格图像生成可执行绘图程序，并通过多项指标（包括精确匹配和像素准确率）进行评估。

我们推出了 ShapeCodeBench，这是一个用于感知到程序重建的合成基准（https://huggingface.co/papers?q=synthetic%20benchmark），具体任务为：给定一张渲染后的栅格图像（https://huggingface.co/papers?q=raster%20image），模型必须输出一个可执行的绘图程序（https://huggingface.co/papers?q=executable%20drawing%20program），由确定性评估器（https://huggingface.co/papers?q=deterministic%20evaluator）重新渲染并与目标进行比较。v1 DSL（https://huggingface.co/papers?q=DSL）在 512 x 512 的黑底白画画布（https://huggingface.co/papers?q=canvas）上包含四种图元（https://huggingface.co/papers?q=primitives），但每个实例均由带种子的 RNG（https://huggingface.co/papers?q=seeded%20RNG）生成，因此可以不断创建新的留出集（https://huggingface.co/papers?q=held-out%20sets），以减少精确实例污染。我们发布了冻结的 eval_v1 数据集，包含 150 个样本，分为简单、中等和困难三个等级，评分指标包括精确匹配（https://huggingface.co/papers?q=exact%20match）、像素准确率（https://huggingface.co/papers?q=pixel%20accuracy）、前景 IoU（https://huggingface.co/papers?q=foreground%20IoU）、解析成功率（https://huggingface.co/papers?q=parse%20success）和执行成功率（https://huggingface.co/papers?q=execution%20success）。我们评估了空程序基线、经典计算机视觉启发式方法、Claude Opus 4.7（高与最大努力模式）以及 GPT-5.5（中等与额外高推理努力模式）。启发式方法在简单场景中表现出色，但当重叠导致组件融合时会完全失效；最强的多模态配置（https://huggingface.co/papers?q=multimodal%20configuration）保留了大部分前景结构，但由于参数误差较小（https://huggingface.co/papers?q=parameter%20errors），仍未达到精确匹配（https://huggingface.co/papers?q=exact%20match）。最佳总体精确匹配（https://huggingface.co/papers?q=exact%20match）仍然较低，因此 ShapeCodeBench 远未饱和。基准代码、冻结数据集、运行成果及论文源码均已发布，以支持独立复现与扩展。

查看 arXiv 页面（https://arxiv.org/abs/2605.11680）查看 PDF（https://arxiv.org/pdf/2605.11680）项目页面（https://arxiv.org/abs/2605.11680）GitHub1（https://github.com/shivamk3r/shape-code-bench）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.11680）

在您的智能体中获取此论文：

hf papers read 2605.11680

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

暂无模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2605.11680 以从此页面建立关联。

引用此论文的数据集0

暂无数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2605.11680 以从此页面建立关联。

引用此论文的 Space0

暂无 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2605.11680 以从此页面建立关联。

包含此论文的合集0

暂无合集包含此论文

请将此论文添加到一个合集（https://huggingface.co/new-collection）中以从此页面建立关联。