BDH-CQ:结合循环潜在推理的上下文学习
摘要
本文介绍了BDH-CQ,一个150M参数规模的推理模型,它将上下文学习与循环潜在推理相结合,在ARC-AGI-1上以极低的推理成本实现了29.5%的pass@2,确立了新的成本-精度前沿。
查看缓存全文
缓存时间: 2026/08/11 10:20
论文页面 - BDH-CQ: 基于循环潜在推理的上下文学习
摘要
我们介绍了BDH-CQ,一个将上下文学习与循环潜在推理相结合的推理模型。推理时呈现的输入会持续更新模型的循环记忆;随后,模型在高维潜在空间中通过迭代计算求解查询,而不会将其中间推理过程言语化。我们在公开的ARC-AGI-1评估集上评估了该模型,并使用受控的ARC类干预来研究它从演示中学到了什么、如何一致地应用推断出的变换,以及哪些概念仍然难以处理。一个150M参数的配置在计算推理成本为每任务$0.0007的情况下达到了29.5%的pass@2。这一工作点突破了先前报道的ARC-AGI-1成本-准确性帕累托前沿,在基准成本效率方面确立了新的最先进水平。
在您的智能体中获取此论文:
hf papers read 2608\.09888
没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型链接此论文
在模型README.md中引用arxiv.org/abs/2608.09888即可从本页链接到它。
引用此论文的数据集0
没有数据集链接此论文
在数据集README.md中引用arxiv.org/abs/2608.09888即可从本页链接到它。
引用此论文的Space0
没有Space链接此论文
在Space README.md中引用arxiv.org/abs/2608.09888即可从本页链接到它。
包含此论文的集合0
没有集合包含此论文
将此论文添加到集合中即可从本页链接到它。
相似文章
150M参数循环模型以每任务0.0007美元的成本在ARC-AGI-1上取得29.5%的成绩
本文介绍了BDH-CQ,一个150M参数的循环模型,它结合了上下文学习和潜在推理,以每任务0.0007美元的成本在ARC-AGI-1上取得了29.5%的成绩,为成本效率树立了新标准。
GradCuit: 信用分配的梯度流实现稳健且可解释的测试时潜在推理
本文介绍了GradCuit,一种测试时潜在推理方法,在选定的Transformer层插入可优化的潜在状态。它在五个骨干模型和三个推理基准上实现了64.5%的平均准确率,优于思维链提示,并展现出更好的稳健性和可解释性。
@burny_tech: 隐式推理综述 "大型语言模型(LLMs)展现了令人印象深刻的推理能力,尤其是……
本综述全面概述了LLM中的隐式推理,探讨了在连续隐藏状态中执行多步推理且无需显式token级监督的方法。
大型学习模型中增强且高效的推理
本文提出了一种改进大型语言模型推理的方法,通过重新编码数据以显式表示关系,实现高效且原则性的推理,并具备关系规则的多项式时间可学习性,从而解决幻觉问题并支持跨多次调用的可靠推理。
CosmicFish-HRM:通过紧凑语言模型中的层级循环机制实现自适应推理
本文介绍了 CosmicFish-HRM,这是一个紧凑的 8277 万参数语言模型,配备层级推理模块,在推理过程中动态分配推理计算资源,并根据输入复杂度学习何时停止。