BDH-CQ:结合循环潜在推理的上下文学习

Hugging Face Daily Papers 论文

摘要

本文介绍了BDH-CQ,一个150M参数规模的推理模型,它将上下文学习与循环潜在推理相结合,在ARC-AGI-1上以极低的推理成本实现了29.5%的pass@2,确立了新的成本-精度前沿。

我们介绍了BDH-CQ,一个将上下文学习与循环潜在推理相结合的推理模型。推理时输入的样本会持续更新模型的循环记忆;随后,模型通过在高维潜在空间中的迭代计算来求解查询,而不需要将其中间推理过程用语言表达出来。我们在公开的ARC-AGI-1评估集上对模型进行了评估,并使用受ARC启发的受控干预手段来研究模型从演示中学习到了什么、应用推断变换的一致性如何,以及哪些概念仍然难以处理。一个150M参数的配置在每任务计算推理成本为\$0.0007的情况下达到了29.5%的pass@2。这一运行点突破了此前报道的ARC-AGI-1成本-准确率帕累托前沿,确立了基准成本效率方面的最新水平。
查看原文
查看缓存全文

缓存时间: 2026/08/11 10:20

论文页面 - BDH-CQ: 基于循环潜在推理的上下文学习

摘要

我们介绍了BDH-CQ,一个将上下文学习循环潜在推理相结合的推理模型。推理时呈现的输入会持续更新模型的循环记忆;随后,模型在高维潜在空间中通过迭代计算求解查询,而不会将其中间推理过程言语化。我们在公开的ARC-AGI-1评估集上评估了该模型,并使用受控的ARC类干预来研究它从演示中学到了什么、如何一致地应用推断出的变换,以及哪些概念仍然难以处理。一个150M参数的配置在计算推理成本为每任务$0.0007的情况下达到了29.5%的pass@2。这一工作点突破了先前报道的ARC-AGI-1成本-准确性帕累托前沿,在基准成本效率方面确立了新的最先进水平。

查看arXiv页面 查看PDF GitHub2 添加到收藏

在您的智能体中获取此论文:

hf papers read 2608\.09888

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2608.09888即可从本页链接到它。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2608.09888即可从本页链接到它。

引用此论文的Space0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2608.09888即可从本页链接到它。

包含此论文的集合0

没有集合包含此论文

将此论文添加到集合中即可从本页链接到它。

相似文章

大型学习模型中增强且高效的推理

arXiv cs.AI

本文提出了一种改进大型语言模型推理的方法,通过重新编码数据以显式表示关系,实现高效且原则性的推理,并具备关系规则的多项式时间可学习性,从而解决幻觉问题并支持跨多次调用的可靠推理。