自监督跨表示学习中的一致性驱动协同演化

Hugging Face Daily Papers 论文

摘要

本文介绍了CoCoEvolve,一种自监督方法,通过在表示之间强制实现一一对应的一致性,提升跨图表、表格和代码的跨表示理解,并具有训练时和测试时的协同演化目标。

随着图表图像、表格数据和可视化代码在各领域中发挥越来越重要的作用,跨这些模态的跨表示理解给AI系统带来了根本性挑战:表示之间的关系本质上是一对多的,监督信息模糊且成本高昂,模型优化缺乏一种既具有方向适应性又能跨表示泛化的原则性信号,而非仅局限于任务特定目标。我们引入CoCoEvolve来提升图表、表格和代码表示之间的一致性。我们不将跨表示映射视为一对多问题,而是定义明确的一对一对应关系,并在无需额外标注的情况下,利用表示之间的一致性来优化模型。在训练时,CoCoEvolve@Train在图表-表格-代码循环中执行协同演化;CoCoEvolve@Test则在推理时应用相同的一致性目标进行测试时协同优化。我们还提出了CoCoEvolve@Eval,一个覆盖全部六项跨表示任务的评估套件。在四个基准测试中,CoCoEvolve在训练时和测试时设置下均提升了性能。项目页面:https://xhguo7.github.io/CoCoEvolve/。
查看原文
查看缓存全文

缓存时间: 2026/08/06 05:49

论文页面 - 面向自监督跨表示学习的一致性驱动协同演化

摘要

随着图表图像、表格数据和可视化代码在众多领域中扮演越来越重要的角色,跨表示理解(cross-representation understanding)给 AI 系统带来了根本性挑战:表示之间的关系本质上是“一对多”的,监督信号模糊且成本高昂,模型优化也缺乏一个既有方向适应性又具有表示泛化能力、且不局限于任务特定目标的原则性信号。我们提出了 CoCoEvolve,用于改善图表、表格和代码表示之间的一致性。我们没有将跨表示映射视为一对多问题,而是定义显式的一对一对应关系,并利用表示之间的一致性来优化模型,且无需额外标注。在训练阶段,CoCoEvolve@Train 在“图表—表格—代码”循环中执行协同演化;CoCoEvolve@Test 则在推理时应用相同的一致性目标,实现测试时协同优化。我们还提出了 CoCoEvolve@Eval,它是一个覆盖全部六种跨表示任务的评估套件。在四个基准测试中,CoCoEvolve 在训练时和测试时设置下均提升了性能。我们的项目页面:https://xhguo7.github.io/CoCoEvolve/。

查看 arXiv 页面
查看 PDF
添加到收藏

在您的 agent 中获取此论文:

hf papers read 2608\.04926

尚未安装最新版 CLI? curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型(0)

暂无模型引用此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.04926,即可从本页面链接到该模型。

引用此论文的数据集(0)

暂无数据集引用此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.04926,即可从本页面链接到该数据集。

引用此论文的 Spaces(0)

暂无 Space 引用此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2608.04926,即可从本页面链接到该 Space。

包含此论文的收藏集(0)

暂无包含此论文的收藏集

将此论文添加到收藏集,即可从本页面链接到该收藏集。

相似文章

CoEvolve:通过智能体-数据互进化训练LLM智能体

arXiv cs.CL

CoEvolve提出了一个智能体-数据互进化框架,通过闭环、交互驱动的学习来训练LLM智能体,同时适配智能体和其训练数据分布。该方法从轨迹回滚中提取反馈信号以指导基于LLM的任务合成,在AppWorld和BFCL基准上的多个Qwen模型中展示了显著的改进(绝对收益15-19%)。

通过联合生成与评估实现自进化深度研究

arXiv cs.CL

来自香港科技大学、字节跳动和UCL的研究人员提出了SCORE——一种协同进化训练框架,将LLM同时训练为深度研究报告生成器和评估器,并通过元约束机制动态调整评估难度,防止奖励饱和。实验表明,该方法在开放式研究报告质量上取得了持续提升。

自巩固语言模型:从上下文中持续整合知识

arXiv cs.CL

本文介绍了自巩固语言模型(SCoL),这是一种利用元强化学习将当前上下文写入模型权重以实现持续知识整合的框架。实验表明,在问答任务和长上下文巩固任务中,该方法在知识获取和保留方面均优于基线方法。

超越基因重建:通过互补转录组视图学习细胞表征

arXiv cs.LG

本文介绍了CoCoS,一种对比预训练框架,通过互补的转录组视图学习全细胞表征,解决了单细胞基础模型中掩码基因重建的局限性。在细胞类型注释和基因调控网络推断实验上,展示了具有竞争力的迁移性能。

CroCo:基于自生成的跨语言对比偏好调优

arXiv cs.CL

本文介绍了CroCo,一种基于自生成响应的跨语言对比偏好调优方法,表明在英语偏好上训练的奖励模型能够有效对其他语言的响应进行排序,在无需特定语言标注的情况下,提升模型在14种语言上的性能。