SHELDON:通过在假设空间和观测空间中进行双重搜索来推理
摘要
SHELDON 是一个科学推理框架,通过在假设空间和观测空间中进行联合且独立的搜索来提升 LLM 的推理能力,在诊断、抽象推理和优化基准上较基线最高提升 26.7 分,并生成多达 4.5 倍的新颖解决方案。
查看缓存全文
缓存时间: 2026/10/14 10:51
论文页面 - SHELDON:通过假设与观察空间上的双重搜索进行推理
来源:https://huggingface.co/papers/2610.18025
摘要
测试时扩展使大语言模型能够解决日益复杂的推理、发现和优化任务。然而,现有方法往往在为当前假设寻找证据时收集观察结果,然后根据这些假设及其相关证据生成新假设。这使观察结果的发现与现有假设绑定在一起,偏向局部改进,而非探索未知的假设区域。受假设演绎法(Hempel,1945)和科学发现的双空间模型(Klahr & Dunbar,1988)启发,我们提出了 SHELDON,这是一个科学推理框架,分别表示假设空间和观察空间,并对两者进行联合探索。通过主动寻找新的观察结果和新假设,SHELDON 能够发现当前假设无法解释的观察结果。这些无法解释的观察结果揭示了其理解中的缺口,推动新的探究,并引导生成超越现有假设改进范畴的新假设。在诊断、抽象推理和优化基准测试中,SHELDON 比所评估的基线方法最多高出 26.7 个百分点。进一步分析表明,SHELDON 生成的新颖解决方案数量最多可达基线方法的 4.5 倍。
查看 arXiv 页面 (https://arxiv.org/abs/2610.18025)查看 PDF (https://arxiv.org/pdf/2610.18025)项目页面 (https://sheldon.genie.stanford.edu/)GitHub0 (https://github.com/stanford-oval/sheldon)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.18025)
在你的智能体中获取这篇论文:
hf papers read 2610\.18025
还没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型关联此论文
在模型的 README.md 中引用 arxiv.org/abs/2610.18025,即可从此页面链接到该模型。
引用此论文的数据集0
没有数据集关联此论文
在数据集的 README.md 中引用 arxiv.org/abs/2610.18025,即可从此页面链接到该数据集。
引用此论文的 Space0
没有 Space 关联此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2610.18025,即可从此页面链接到该 Space。
收录此论文的合集0
没有合集收录此论文
将此论文添加到一个合集 (https://huggingface.co/new-collection),即可从此页面链接到该合集。
相似文章
在推理型大语言模型中实现摊销式序贯实验设计
该论文提出将序贯贝叶斯实验设计(BED)通过信息增益奖励训练摊销进 LLM 的推理过程中,使 LLM 学会自适应信息收集,并在 Twenty Questions 与临床对话基准 Medi-Q 上超越基线且泛化良好。
行动之前:面向前瞻性假设发现的LLM基准测试
本文介绍了HypoArena,这是一个用于评估LLMs从非完整证据中主动构建假设空间能力的基准,在15个前沿LLM上的实验揭示了能力分层。
LLM推理的周期表:推理范式、方法与失败模式的系统综述
一项综合分析超过300篇关于LLM推理的论文,提出了推理范式的分类体系,包括Chain-of-Thought、Multi-Hop、Mathematical、Commonsense等,并总结了常见的失败模式和研究空白。
量子启发式轨迹增强证据选择:用于结构化假设空间推理
本文介绍了一种量子启发式方法EP-HUBO,它将链式思维推理中的证据选择视为组合优化问题,通过允许少数但正确的假设覆盖嘈杂的多数,在MMLU-Pro法律和LEXam等法律推理基准测试中显著提升了性能。
FALSIFYBENCH:利用规则发现游戏评估大语言模型的归纳推理能力
FalsifyBench 是一个用于评估大语言模型归纳推理能力的新型评测框架,灵感来源于 Wason 2-4-6 任务。在该框架中,智能体通过提出示例并接收反馈来发现隐藏的语义规则。对 12 个大语言模型的评估结果表明,推理模型的表现优于指令微调模型,而负面测试(即假设证伪)是决定成败的关键因素。