以评分标准作为视觉修复上下文的自演化UI到代码生成

Hugging Face Daily Papers 论文

摘要

RubSE是一个框架,它利用评分标准引导的自演化,通过缓解视觉修复耦合和轨迹崩溃来增强UI到代码生成的稳定性。

大型视觉语言模型在UI到代码生成方面取得了显著进展,但其测试时自演化仍不稳定。我们首先识别出一个基本障碍,称为视觉修复耦合:局部代码编辑可能通过布局、样式和组件依赖关系传播,在纠正一个视觉不匹配的同时,可能破坏先前忠实的区域。为解决这一问题,我们提出了RubSE,一个评分标准引导的自演化框架,它使用评分标准将视觉反馈表示为结构化的视觉修复上下文。在每个优化轮次中,RubSE生成类型化的候选评分标准,选择一个优先修复目标,并将先前选择的评分标准存储为历史记录,从而引导每次修订朝向一个范围明确的视觉修复,同时避免重复或过度宽泛的更改。在六个视觉语言模型和三个UI到代码基准测试上的评估表明,RubSE在最终轮次和最佳轮次设置中显著优于朴素的自演化,实现了更稳定的优化轨迹和更高的轨迹级性能上限。进一步分析显示,RubSE通过改善从严重视觉退化中的恢复来缓解轨迹崩溃,并且更强的评分标准生成器可以将有效的视觉修复指导转移给较弱的代码改进器。
查看原文
查看缓存全文

缓存时间: 2026/08/27 07:19

论文页面 - 评分标准作为视觉修复上下文用于自进化UI到代码生成

来源:https://huggingface.co/papers/2608.24138 作者:

,

,

,

,

,

,

,

,

,

,

,

摘要

RubSE 通过使用评分标准引导的自进化来防止视觉修复耦合和轨迹坍缩,从而提高 UI 到代码生成的稳定性。

大型视觉语言模型在 UI 到代码生成方面已展现出强劲进展,但其测试时的自进化仍不稳定。我们首先识别出一个根本性障碍,称为视觉修复耦合(visual repair coupling):一处局部代码编辑可能通过布局、样式和组件依赖关系传播,在修正一个视觉不匹配的同时,可能损害之前已忠实呈现的区域。为解决此问题,我们提出了 RubSE(https://huggingface.co/papers?q=RubSE),一个评分标准引导的自进化(Rubric-guided Self-Evolution)框架,该框架使用评分标准将视觉反馈表示为结构化的视觉修复上下文。在每一轮精炼中,RubSE 生成类型化的候选评分标准,选择一个优先级高的修复目标,并将先前选择的评分标准存储为历史记录,从而引导每次修订走向范围明确的视觉修复,同时避免重复或范围过广的更改。在六种 VLM 和三个 UI 到代码基准上的评估表明,RubSE 在最终轮和最佳轮设置中显著优于朴素的自进化方法,实现了更稳定的精炼轨迹和更高的轨迹级性能上限。进一步分析表明,RubSE 通过改进从严重视觉回归中的恢复能力来缓解轨迹坍缩,并且更强的评分标准生成器可以将有效的视觉修复指导转移给较弱的代码改进器。

查看 arXiv 页面 (https://arxiv.org/abs/2608.24138)查看 PDF (https://arxiv.org/pdf/2608.24138)项目页面 (https://tyxiong23.github.io/rubse)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2608.24138)

在你的代理中获取此论文:

hf papers read 2608.24138

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

无模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.24138 以将其链接至此页面。

引用此论文的数据集 0

无数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.24138 以将其链接至此页面。

引用此论文的 Spaces 0

无 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2608.24138 以将其链接至此页面。

包含此论文的收藏集 0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以将其链接至此页面。

相似文章

Rubricon:用于大语言模型评估与训练的评分标准自动生成与优化

arXiv cs.AI

Rubricon 是 Handshake AI 推出的一套流水线,无需人工标注或微调,即可自动生成并优化用于大语言模型评估和后训练的判别式评分标准。与以往的合成方法相比,其与专家评分标准的一致性提高了 9%;在训练 Qwen3.5-9B 时,HealthBench 性能提升了 4.5%。

评分标准作为开放式生成中的特权信息

arXiv cs.LG

本文介绍了评分标准作为特权信息(RuPI),通过以评分标准作为软特权信息来条件化教师模型,将同策略自蒸馏扩展到开放式生成。该方法在多个大语言模型和HealthBench等基准上优于评分标准即奖励的强化学习和参考补全蒸馏。