论文页面 - SIMIT：通过测试时想象实现视觉语言模型的自我改进

来源：https://huggingface.co/papers/2611.00053

摘要

SIMIT 是一种测试时框架，让视觉语言模型生成自己的练习数据，无需外部标注即可改进对未标注查询的回答\。

我们提出 SIMIT，这是一种测试时自我改进 (https://huggingface.co/papers?q=self-improvement) 框架，其中视觉语言模型 (https://huggingface.co/papers?q=vision-language%20model) 在回答未标注的测试查询之前，会创建针对该查询的训练数据\。我们的目标是在没有标注或外部模型的情况下，提高模型在给定目标测试集上的表现\。为实现这一目标，一些测试时方法通过更长的推理或重复采样来改进回答，但不改变模型本身\。另一些方法则利用基于多个候选答案的多数一致性或模型自身对正确性的判断所形成的奖励来更新模型，但此类奖励可能会强化已有错误\。相比之下，SIMIT 会想象出解答由其掌控的类似问题：模型无需正确解答目标查询，也能构建有用的练习示例\。它通过先指定每个答案、再生成相应图像的方式，合成多样化的 (问题、答案、图像) 三元组\。为支持多样化的多模态 (https://huggingface.co/papers?q=multimodal) 任务，SIMIT 将原生图像生成 (https://huggingface.co/papers?q=image%20generation) 与可扩展的结构化视觉内容技能库相结合，涵盖文档、图表和示意图\。在这一流程中，多阶段验证 (https://huggingface.co/papers?q=verification) 会检查图像是否支持其指定答案，而难度筛选则保留信息价值较高的示例\。自适应预算分配 (https://huggingface.co/papers?q=Adaptive%20budgeting) 通过为模型回答信心较低的查询分配更多样本，进一步提高练习的针对性\。由此产生的数据可以通过上下文学习 (SIMIT-ICL) 或权重更新 (SIMIT-FT) 改进模型\。在 17 个多样化基准测试中，SIMIT 的表现优于现有的自我改进 (https://huggingface.co/papers?q=self-improvement) 方法\。其最佳配置相较于 BAGEL-7B 实现了 +7.20% 的平均相对提升，而无需训练的 SIMIT-ICL 实现了 +6.98% 的提升\。

查看 arXiv 页面 (https://arxiv.org/abs/2611.00053)查看 PDF (https://arxiv.org/pdf/2611.00053)项目页面 (https://monurcan.github.io/simit)GitHub8 (https://github.com/monurcan/simit_paper)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2611.00053)

在你的智能体中获取这篇论文：

hf papers read 2611\.00053

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有关联这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2611.00053，即可从此页面链接到该模型\。

引用这篇论文的数据集0

没有关联这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2611.00053，即可从此页面链接到该数据集\。

引用这篇论文的 Space0

没有关联这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2611.00053，即可从此页面链接到该 Space\。

收录这篇论文的合集0

没有收录这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集\。