BDH-CQ:结合循环潜在推理的上下文学习

Hugging Face Daily Papers 论文

摘要

本文介绍了BDH-CQ,一个150M参数规模的推理模型,它将上下文学习与循环潜在推理相结合,在ARC-AGI-1上以极低的推理成本实现了29.5%的pass@2,确立了新的成本-精度前沿。

我们介绍了BDH-CQ,一个将上下文学习与循环潜在推理相结合的推理模型。推理时输入的样本会持续更新模型的循环记忆;随后,模型通过在高维潜在空间中的迭代计算来求解查询,而不需要将其中间推理过程用语言表达出来。我们在公开的ARC-AGI-1评估集上对模型进行了评估,并使用受ARC启发的受控干预手段来研究模型从演示中学习到了什么、应用推断变换的一致性如何,以及哪些概念仍然难以处理。一个150M参数的配置在每任务计算推理成本为\$0.0007的情况下达到了29.5%的pass@2。这一运行点突破了此前报道的ARC-AGI-1成本-准确率帕累托前沿,确立了基准成本效率方面的最新水平。
查看原文
查看缓存全文

缓存时间: 2026/08/11 10:20

论文页面 - BDH-CQ: 基于循环潜在推理的上下文学习

摘要

我们介绍了BDH-CQ,一个将上下文学习与循环潜在推理相结合的推理模型。推理时呈现的输入会持续更新模型的循环记忆;随后,模型在高维潜在空间中通过迭代计算求解查询,而不会将其中间推理过程言语化。我们在公开的ARC-AGI-1评估集上评估了该模型,并使用受控的ARC类干预来研究它从演示中学到了什么、如何一致地应用推断出的变换,以及哪些概念仍然难以处理。一个150M参数的配置在计算推理成本为每任务$0.0007的情况下达到了29.5%的pass@2。这一工作点突破了先前报道的ARC-AGI-1成本-准确性帕累托前沿,在基准成本效率方面确立了新的最先进水平。

查看arXiv页面 查看PDF GitHub2 添加到收藏

在您的智能体中获取此论文:

hf papers read 2608\.09888

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2608.09888即可从本页链接到它。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2608.09888即可从本页链接到它。

引用此论文的Space0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2608.09888即可从本页链接到它。

包含此论文的集合0

没有集合包含此论文

将此论文添加到集合中即可从本页链接到它。

相似文章

面向统一多模态模型的连续空间潜在推理

Hugging Face Daily Papers

LARC 为统一多模态模型引入了一种连续空间中的潜在推理框架,以连续隐藏状态推理取代离散词元推理,从而提升图像生成质量并支持测试时扩展,在 GenEval 上的表现比 BAGEL 提升了 7%。

潜空间推理!让潜在视觉推理变得必要

Hugging Face Daily Papers

本文介绍了因果视觉循环推理(CVRR),一种强制进行循环隐藏状态计算的视觉推理方法,它在基准测试中提升了性能,同时区分了潜在信息性和实际预测用途。