CURV:通过课程式视觉基础推理增强图表理解

Hugging Face Daily Papers 论文

摘要

CURV 提出了一种课程学习框架,通过在多模态大语言模型中培养内在的视觉基础推理能力来增强图表问答,在真实世界基准上取得了显著改进。

图表问答(CQA)要求多模态大语言模型(MLLMs)将视觉理解与逻辑推理相结合,但当前模型在准确的视觉基础和对齐的推理链上仍存在困难。虽然外在的思维链提示和视觉线索能显著提升性能,但现有的 MLLMs 缺乏内在的视觉基础推理能力,导致感知不准确且推理与视觉证据脱节。为解决这些局限性,我们提出了 CURV,一种课程学习框架,通过将 CQA 重构为多步视觉基础推理来发展内在的视觉推理能力,其中每一步都通过空间注意力集中将逻辑推理与动态视觉基础相协调。为辅助模型学习,我们进一步引入了 CCQA,一个包含三个层次的课程数据集,支持跨多种图表类型和推理模式的可扩展合成生成。我们的课程系统地从基础的单操作推理推进到复杂的多图表组合任务。实验表明,CURV 在基线上实现了高达 20.50% 的提升,并可泛化到真实世界基准(提升高达 12.30%)和域外多模态推理任务(提升高达 10.20%),验证了通过动态基础内化视觉推理对增强图表理解能力的有效性。代码可在 https://xhguo7.github.io/CURV/ 获取。
查看原文
查看缓存全文

缓存时间: 2026/08/05 17:46

论文页面 - CURV:通过课程式视觉锚定推理增强图表理解

摘要

图表问答(CQA)要求多模态大语言模型(MLLMs)将视觉理解与逻辑推理相结合,然而当前模型难以实现准确的视觉锚定和连贯的推理链。虽然外部思维链提示和视觉线索能显著提升性能,但现有 MLLMs 缺乏内在的视觉锚定推理能力,导致感知不准确以及推理与视觉证据脱节。为解决这些局限,我们提出 CURV,一种课程学习框架,通过将 CQA 重构为多步骤视觉锚定推理来培养内在视觉推理能力,每一步通过空间注意力集中将逻辑推理与动态视觉锚定相协调。为辅助模型学习,我们进一步引入 CCQA,一个三级课程数据集,支持跨多样图表类型和推理模式的可扩展合成生成。我们的课程系统地从基础单操作推理推进到复杂的多图表组合任务。实验表明,CURV 相较于基线实现了高达 ↑20.50% 的提升,并能泛化到真实世界基准(高达 ↑12.30%)和域外多模态推理任务(高达 ↑10.20%),验证了将视觉推理与动态锚定内化以增强图表理解能力的有效性。代码可在以下地址获取:https://xhguo7.github.io/CURV/。

查看 arXiv 页面 (https://arxiv.org/abs/2608.02833) 查看 PDF (https://arxiv.org/pdf/2608.02833) 项目页面 (https://xhguo7.github.io/CURV/) GitHub0 (https://github.com/xhguo7/CURV) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.02833)

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2608.02833,以从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.02833,以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2608.02833,以从此页面链接。

包含此论文的收藏0

没有包含此论文的收藏

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

穿越幻境:一种用于鲁棒性误导图表问答的双路径智能体框架

Hugging Face Daily Papers

本文介绍了ChartCynics,一种将感知与验证解耦的智能体双路径框架,用于鲁棒地回答关于误导性图表的问题。它通过使用诊断视觉路径和OCR驱动的数据路径,以及用于推理蒸馏和对抗对齐的两阶段协议,实现了最先进的准确率。

通过闭环验证推理解锁复杂视觉生成

Hugging Face Daily Papers

介绍CLVR(闭环视觉推理),一种将文本到图像生成从单步过程重构为闭环多步视觉推理方法的框架,使用VLM控制器和扩散模型,在组合提示上实现了改进的性能。

潜空间推理!让潜在视觉推理变得必要

Hugging Face Daily Papers

本文介绍了因果视觉循环推理(CVRR),一种强制进行循环隐藏状态计算的视觉推理方法,它在基准测试中提升了性能,同时区分了潜在信息性和实际预测用途。