论文页面 - Beyond NL2Code：多模态代码智能结构化综述

来源：https://huggingface.co/papers/2606.15932 发布于 6 月 16 日

#3 今日论文 (https://huggingface.co/papers/date/2026-06-25) 作者：,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

本综述探索了基于视觉输入生成和推理代码的多模态代码智能系统，将各项方法归类至 GUI、科学可视化、结构化图形以及新兴框架中，同时指出以验证为中心的未来研究方向。

虽然大语言模型显著推进了从文本到代码的合成，但许多实际编程任务会通过截图、图表、矢量图、视频和交互状态等视觉制品来指定意图。这些任务要求模型将视觉感知与可执行程序连接起来，因为正确性不仅取决于语法，还取决于布局、数据语义、交互行为以及执行后适用的领域特定约束。本综述审视了多模态代码智能，涵盖在视觉化输入输出下生成、编辑、优化或推理代码的系统。我们首先根据代码在每个任务中所扮演的角色对该领域进行系统化：代码被看作渲染制品、可编辑的符号结构、科学表示、中间推理轨迹，或可执行策略/工具接口。接着，我们将基准和方法组织为四个领域：图形用户界面、科学可视化、结构化图形以及前沿任务与框架。这一分类将成熟的制品生成问题与新兴的智能体化和统一设置联系起来，并允许我们比较不同任务如何处理正确性证据。展望未来，我们认为未来研究可从四个以验证为中心的方向受益。多信号验证可以结合互补的正确性证据；多状态验证可以测试跨执行轨迹的行为；跨任务迁移测试可以探究可复用的视觉‑代码技能；可验证智能体轨迹可以揭示智能体行为是否基于视觉证据。这些方向共同可能推动该领域从单输出模仿迈向基于证据的可执行系统。一个持续更新的项目及资源可在 https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code（GitHub）获取。

查看 arXiv 页面 (https://arxiv.org/abs/2606.15932)查看 PDF (https://arxiv.org/pdf/2606.15932)GitHub262 (https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.15932)

在你的智能体中获取这篇论文：

hf papers read 2606.15932

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.15932 以从此页面链接。

引用该论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.15932 以从此页面链接。

引用该论文的 Space0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.15932 以从此页面链接。

包含该论文的集合0

没有集合包含此论文

请将此论文添加到一个集合 (https://huggingface.co/new-collection) 中以从此页面链接。