SHELDON:通过在假设空间和观测空间中进行双重搜索来推理

Hugging Face Daily Papers 论文

摘要

SHELDON 是一个科学推理框架,通过在假设空间和观测空间中进行联合且独立的搜索来提升 LLM 的推理能力,在诊断、抽象推理和优化基准上较基线最高提升 26.7 分,并生成多达 4.5 倍的新颖解决方案。

测试时扩展使大语言模型能够解决日益复杂的推理、发现和优化任务。然而,现有方法往往在为当前假设寻找证据的过程中收集观察结果,然后以这些假设及其相关证据为条件生成新假设。这使观察结果的发现与现有假设绑定在一起,更倾向于局部改进,而非探索未知的假设空间区域。受假设演绎法(Hempel, 1945)和科学发现的双空间模型(Klahr & Dunbar, 1988)启发,我们提出了 SHELDON,这是一个科学推理框架,分别表示假设空间和观察空间,并对两者进行联合探索。通过主动寻找新的观察结果和新的假设,SHELDON 能够发现当前假设无法解释的观察结果。这些未被解释的观察结果揭示了其理解中的缺口,推动新的研究,并引导其生成超越现有假设改进范畴的新假设。在诊断、抽象推理和优化基准测试中,SHELDON 相较于所评估的基线方法,表现最多提升了 26.7 个点。进一步分析表明,SHELDON 生成的新颖解决方案数量最高可达基线方法的 4.5 倍。
查看原文
查看缓存全文

缓存时间: 2026/10/14 10:51

论文页面 - SHELDON:通过假设与观察空间上的双重搜索进行推理

来源:https://huggingface.co/papers/2610.18025

摘要

测试时扩展使大语言模型能够解决日益复杂的推理、发现和优化任务。然而,现有方法往往在为当前假设寻找证据时收集观察结果,然后根据这些假设及其相关证据生成新假设。这使观察结果的发现与现有假设绑定在一起,偏向局部改进,而非探索未知的假设区域。受假设演绎法(Hempel,1945)和科学发现的双空间模型(Klahr & Dunbar,1988)启发,我们提出了 SHELDON,这是一个科学推理框架,分别表示假设空间和观察空间,并对两者进行联合探索。通过主动寻找新的观察结果和新假设,SHELDON 能够发现当前假设无法解释的观察结果。这些无法解释的观察结果揭示了其理解中的缺口,推动新的探究,并引导生成超越现有假设改进范畴的新假设。在诊断、抽象推理和优化基准测试中,SHELDON 比所评估的基线方法最多高出 26.7 个百分点。进一步分析表明,SHELDON 生成的新颖解决方案数量最多可达基线方法的 4.5 倍。

查看 arXiv 页面 (https://arxiv.org/abs/2610.18025)查看 PDF (https://arxiv.org/pdf/2610.18025)项目页面 (https://sheldon.genie.stanford.edu/)GitHub0 (https://github.com/stanford-oval/sheldon)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.18025)

在你的智能体中获取这篇论文:

hf papers read 2610\.18025

还没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.18025,即可从此页面链接到该模型。

引用此论文的数据集0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.18025,即可从此页面链接到该数据集。

引用此论文的 Space0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.18025,即可从此页面链接到该 Space。

收录此论文的合集0

没有合集收录此论文

将此论文添加到一个合集 (https://huggingface.co/new-collection),即可从此页面链接到该合集。

相似文章

在推理型大语言模型中实现摊销式序贯实验设计

Hugging Face Daily Papers

该论文提出将序贯贝叶斯实验设计(BED)通过信息增益奖励训练摊销进 LLM 的推理过程中,使 LLM 学会自适应信息收集,并在 Twenty Questions 与临床对话基准 Medi-Q 上超越基线且泛化良好。

FALSIFYBENCH:利用规则发现游戏评估大语言模型的归纳推理能力

arXiv cs.AI

FalsifyBench 是一个用于评估大语言模型归纳推理能力的新型评测框架,灵感来源于 Wason 2-4-6 任务。在该框架中,智能体通过提出示例并接收反馈来发现隐藏的语义规则。对 12 个大语言模型的评估结果表明,推理模型的表现优于指令微调模型,而负面测试(即假设证伪)是决定成败的关键因素。