CURV:通过课程式视觉基础推理增强图表理解
摘要
CURV 提出了一种课程学习框架,通过在多模态大语言模型中培养内在的视觉基础推理能力来增强图表问答,在真实世界基准上取得了显著改进。
查看缓存全文
缓存时间: 2026/08/05 17:46
论文页面 - CURV:通过课程式视觉锚定推理增强图表理解
摘要
图表问答(CQA)要求多模态大语言模型(MLLMs)将视觉理解与逻辑推理相结合,然而当前模型难以实现准确的视觉锚定和连贯的推理链。虽然外部思维链提示和视觉线索能显著提升性能,但现有 MLLMs 缺乏内在的视觉锚定推理能力,导致感知不准确以及推理与视觉证据脱节。为解决这些局限,我们提出 CURV,一种课程学习框架,通过将 CQA 重构为多步骤视觉锚定推理来培养内在视觉推理能力,每一步通过空间注意力集中将逻辑推理与动态视觉锚定相协调。为辅助模型学习,我们进一步引入 CCQA,一个三级课程数据集,支持跨多样图表类型和推理模式的可扩展合成生成。我们的课程系统地从基础单操作推理推进到复杂的多图表组合任务。实验表明,CURV 相较于基线实现了高达 ↑20.50% 的提升,并能泛化到真实世界基准(高达 ↑12.30%)和域外多模态推理任务(高达 ↑10.20%),验证了将视觉推理与动态锚定内化以增强图表理解能力的有效性。代码可在以下地址获取:https://xhguo7.github.io/CURV/。
查看 arXiv 页面 (https://arxiv.org/abs/2608.02833) 查看 PDF (https://arxiv.org/pdf/2608.02833) 项目页面 (https://xhguo7.github.io/CURV/) GitHub0 (https://github.com/xhguo7/CURV) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.02833)
引用此论文的模型0
没有模型链接到此论文
在模型 README.md 中引用 arxiv.org/abs/2608.02833,以从此页面链接。
引用此论文的数据集0
没有数据集链接到此论文
在数据集 README.md 中引用 arxiv.org/abs/2608.02833,以从此页面链接。
引用此论文的 Spaces0
没有 Space 链接到此论文
在 Space README.md 中引用 arxiv.org/abs/2608.02833,以从此页面链接。
包含此论文的收藏0
没有包含此论文的收藏
将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
穿越幻境:一种用于鲁棒性误导图表问答的双路径智能体框架
本文介绍了ChartCynics,一种将感知与验证解耦的智能体双路径框架,用于鲁棒地回答关于误导性图表的问题。它通过使用诊断视觉路径和OCR驱动的数据路径,以及用于推理蒸馏和对抗对齐的两阶段协议,实现了最先进的准确率。
通过闭环验证推理解锁复杂视觉生成
介绍CLVR(闭环视觉推理),一种将文本到图像生成从单步过程重构为闭环多步视觉推理方法的框架,使用VLM控制器和扩散模型,在组合提示上实现了改进的性能。
锚定关键要素:面向视觉基础多模态推理的双层学习框架
本文提出PIVOT,一个双层学习框架,通过自校准经验回放和视觉引导优势分配优化强化学习,以增强大型视觉语言模型中的视觉基础推理。
CVPO:通过值方差适应与动态课程学习增强LLM强化学习推理
这篇arXiv论文介绍了CVPO,一种针对LLM的强化学习方法,它适应值方差以进行优势估计,并使用动态课程学习来匹配问题难度,在数学任务上取得了比VAPO更好的推理性能。
潜空间推理!让潜在视觉推理变得必要
本文介绍了因果视觉循环推理(CVRR),一种强制进行循环隐藏状态计算的视觉推理方法,它在基准测试中提升了性能,同时区分了潜在信息性和实际预测用途。