面向多样化科学假设搜索的大语言模型方法
摘要
本文提出了一种受并行回火启发的进化框架,该框架利用多温度采样和信息交换,提高了大语言模型生成科学假设的多样性和质量,并在分子发现、方程发现和算法发现等领域中得到了验证。
查看缓存全文
缓存时间: 2026/06/11 17:35
论文页面 - 利用大型语言模型实现多样化的科学假设搜索
来源:https://huggingface.co/papers/2606.10587
摘要
一种用于假设生成的进化框架,通过多温度采样和跨搜索层级的信息交换,提升多样性与质量。
大型语言模型(LLMs)正被越来越多地用于加速科学发现,最近在生成有效科学假设等高级任务中也有应用。然而,在许多发现场景中,目标并非找出单一最佳假设,因为验证过程可能带有噪声且成本高昂,而科学家们受益于一组高质量备选假设,这些假设能够对冲下游不确定性,从而找到最优解决方案。尽管如此,常用的进化搜索(https://huggingface.co/papers?q=evolutionary%20search)方法往往更偏向优化而非探索,在假设生成(https://huggingface.co/papers?q=hypothesis%20generation)过程中,由此产生的选择压力导致了多样性崩溃(https://huggingface.co/papers?q=diversity%20collapse)。受这些局限性启发,我们将假设搜索形式化为一个采样问题(https://huggingface.co/papers?q=sampling%20problem),其目标是在固定的验证预算(https://huggingface.co/papers?q=validation%20budget)下高效地生成多样化、高质量的假设。基于这一视角,我们提出了\ours,这是一种受经典并行回火(https://huggingface.co/papers?q=parallel%20tempering)算法启发的进化框架,它在多个温度层级上搜索假设,并实现了跨温度的原则性信息交换,从而在不干扰收敛的情况下提升探索能力。在分子发现、方程发现和算法发现等多个领域,我们的方法在相同验证预算(https://huggingface.co/papers?q=validation%20budget)下持续提升了假设的质量和多样性,并且生成的候选假设在更昂贵的下游计算验证(https://huggingface.co/papers?q=computational%20validation)中依然保持稳健。
查看 arXiv 页面(https://arxiv.org/abs/2606.10587) 查看 PDF(https://arxiv.org/pdf/2606.10587) 添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2606.10587)
在你的 agent 中获取这篇论文:
hf papers read 2606\.10587
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
无模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2606.10587,以便从此页面链接。
引用此论文的数据集0
无数据集链接此论文
请在数据集 README.md 中引用 arxiv.org/abs/2606.10587,以便从此页面链接。
引用此论文的 Spaces0
无 Space 链接此论文
请在 Space README.md 中引用 arxiv.org/abs/2606.10587,以便从此页面链接。
包含此论文的收藏集0
无收藏集包含此论文
请将此论文添加到收藏集(https://huggingface.co/new-collection)中,以便从此页面链接。
相似文章
通过大型模型的演化
本论文证明了在代码上训练的大型语言模型可以显著增强遗传编程的变异算子,使得能够在 Sodarace 领域中生成数十万个功能性 Python 程序用于机器人设计,且无需预训练数据。该方法称为演化通过大型模型(ELM),将 LLM 与 MAP-Elites 相结合,为上下文特定的制品生成引导新的条件模型。
DEI:进化推断中的多样性用于质量-多样性搜索
DEI引入了一种分布式质量-多样性搜索框架,使用异构大语言模型(LLMs)作为变异算子,表明模型多样性相比同构并行方法能提升性能。在Core War领域上的评估显示,一个四节点异构集成在QD-Score和覆盖率上取得了显著提升。
借助大语言模型发现强化学习接口
本文介绍了 LIMEN,这是一个由大语言模型引导的演化框架,能够通过联合优化原始模拟器状态的观测映射与奖励函数,自动发现强化学习接口。该方法有效降低了人工设计成本,并证明了观测与奖励的协同设计优于单独优化其中任意单一组件。
多样性注入的位置至关重要:面向多样化生成的统一框架
本文提出了一个用于大型语言模型测试时多样化生成的统一框架,根据多样性注入的位置(表面级 vs. 规范级)对方法进行分类。它提出了规范级方法,首先生成多样化的中间规范,然后基于这些规范生成最终响应。在五个开放任务和四个骨干模型上,规范级注入在保持质量的同时提升了输出多样性。
Darwin Family:基于MRI信任加权的进化合并方法,实现语言模型推理的无训练扩展
Darwin Family 是一个无需训练的框架,通过无梯度的权重空间重组实现大语言模型的进化合并,在不额外训练的情况下达到强大的推理性能。该方法引入了MRI信任融合和跨架构育种,用于组合异构模型。