@omarsar0：来自 Salesforce 及其合作团队的一项出色的中小企业语言模型应用。AI 科学家流程在提出……方面一直存在困难

Salesforce 及其同事对小型语言模型的一次出色应用。AI 科研流水线众所周知难以提出新颖且多样化的研究想法。该团队训练了一个 8B 推理模型，使其在一次生成中基于一组源论文写出多个研究想法。奖励机制对整个集合进行评分，每个想法的质量会根据它与此前所写想法之间的距离加权。模型由此学会让每个新想法远离先前的想法。在他们无污染的基准测试中，这个 8B 模型在创造性效用（一种结合了质量与多样性的度量）上的得分高于 Claude Opus 4.8 和 GPT-6 Astra。https://arxiv.org/abs/2610.22324 Chat with Paper: https://academy.dair.ai/papers/training-reasoning-models-to-generate-diverse-scientific-ideas-2610.22324… — # 训练推理模型以生成多样化的科学想法 来源：https://arxiv.org/html/2610.22324 Manya Wadhwa††thanks:工作在 Salesforce AI Research 期间完成。Pranav Narayanan Venkit所属机构：Salesforce AI Research Hiroaki Hayashi所属机构：Salesforce AI Research Yu Li所属机构：Salesforce AI Research Tuhin Chakrabarty所属机构：Stony Brook University Chien-Sheng Wu所属机构：Salesforce AI Research ###### 摘要 研究流程的第一步是生成想法。大型语言模型（LLM）正越来越多地被用于自动化这一步骤，但大多数此类工作优化的是单个想法的质量，却忽视了多样性。在我们的工作中，我们研究文档驱动的构思（document-grounded ideation），重点在于提高 LLM 生成想法的多样性，同时确保其高质量。给定一批已有论文，模型需要提出一组想法，每个想法都应质量高、彼此明显不同，同时扎根于输入文档。为优化这一目标，我们提出采用集合级强化学习目标进行训练。在我们的设置中，模型在单次生成中写出 K 张基于源论文的结构化想法卡片，整个集合被联合评分，其中每个想法的质量会按照它与此前所写想法之间的距离加权。这教会模型让每个新想法偏离其前作。我们证明，训练后的 8B 模型在我们无污染的基准上取得了比 Claude Opus 4.8 和 GPT-6 Astra 更高的创造性效用（一种结合质量与多样性的度量）。在一项由四位专家参与的试点人类研究中，我们的想法集被评为与 Claude Opus 4.8 同样有前景，且包含略多的独特想法。当一个编码智能体针对这些想法运行概念验证实验时，我们模型的 success@k 与 Claude Opus 4.8 相当，因此我们看到新增的多样性并未牺牲可执行性这一重要方面。111代码与数据：https://github.com/ManyaWadhwa/diverge_ideation。 ## 1引言 任何研究周期的第一步，都是生成值得检验的想法，然后实验才能告诉你哪一个是对的。当前利用大型语言模型（LLM）进行想法生成的研究主要聚焦于两件事之一：生成单个想法并将其与一个已有的、留出的想法进行比较评分（He-Yueya et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib5)），或构建端到端系统，将一个想法一路推进执行并判断执行是否成功（Kirgis et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib7)；Ning et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib8)；Falck et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib9)；Garikaparthi et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib10)；Si et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib17)）。无论哪种方式，想法都是被单独生成、单独评判的，从未与其他可供权衡的候选想法放在一起比较。观察人类做研究的方式：研究者面对一批文献时，会围绕同一个共享语境头脑风暴出若干方向，然后依据某种信号在其中做选择（Platt, 1964 (https://arxiv.org/html/2610.22324#bib.bib15)；Klahr and Dunbar, 1988 (https://arxiv.org/html/2610.22324#bib.bib11)），而不是直接认定某一个想法。我们将构思与创造性问题求解联系起来。先头脑风暴再选择的过程，也正是创造性思维/问题求解的正式化方式：发散思维（divergent thinking）广泛探索以求产生大量候选，收敛思维（convergent thinking）则通过选择来收窄空间（Boden, 2004 (https://arxiv.org/html/2610.22324#bib.bib21)；Guilford, 1967 (https://arxiv.org/html/2610.22324#bib.bib22)）。当前 LLM 用于构思的方式看起来与此不同。由于每个想法都是被单独生成和评判的，多个候选只是通过反复独立采样得到的，既没有可刻意探索的共享语境，也没有可供收敛的候选池。它们之间的任何多样性都是偶然的，而非设计出来的（Puri et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib1)；Bahlous-Boldi et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib2)）。关于自主研究智能体的工作也已指出多样性不足这一缺陷（Liu et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib16)；Garikaparthi et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib10)）。此外，此前尝试用执行信号来训练构思模型的做法已被证明会坍缩到单一主导想法上，而不是形成一组分布开的想法（Si et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib17)）。在我们的工作中，我们通过把想法生成视为一个创造性搜索问题来弥合这一差距。给定一批既有文档，智能体应提出一组 K 个想法，每个想法都扎根于特定的源文档，质量高且彼此之间是设计上互不相同的。我们针对文档驱动的构思研究了这一点（Wang et al., 2024 (https://arxiv.org/html/2610.22324#bib.bib23)）。我们将质量与多样性合并为一个集合级训练信号，做法是改编创造性效用（Creative Utility）公式（Wadhwa et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib12)），其中每个想法既凭自身质量得分，也凭它与此前产出想法的距离得分，因此一个冗余想法无论写得多好都只能得到很少的分数（如图 1 (https://arxiv.org/html/2610.22324#S1.F1) 所示）。为实现这一点，我们分两步训练一个构思模型（Qwen3-8B（Team, 2025 (https://arxiv.org/html/2610.22324#bib.bib24)））。我们先做一步监督微调，用结构良好的想法集合来初始化策略，随后以集合级目标（改编自创造性效用公式）进行 GRPO（Shao et al., 2024 (https://arxiv.org/html/2610.22324#bib.bib13)）。接着我们在自行整理的无污染测试集上报告这一效用度量。我们还查看了两个已有基准：GiantsBench（He-Yueya et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib5)）和 IdeaSeed（Chen et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib14)）。我们测试的基线包括未训练的基础模型及其 SFT 检查点、强大的闭源智能体、GIANTS（He-Yueya et al., 2026 (https://arxiv.org/html/2610.22324#bib.bib5)），以及 DARLING（Li et al., 2025 (https://arxiv.org/html/2610.22324#bib.bib4)）——一种我们在自己的设置下重新训练的替代质量-多样性目标。我们证明，训练后的 8B 模型在我们的测试集上取得了最高的创造性效用，胜过强大的闭源智能体以及 DARLING 等竞争性的质量-多样性目标。一项由四位专家标注者参与的小规模试点人类研究发现，我们的想法集在有前景的想法数量上与 Claude Opus 4.8 相当，同时包含更多彼此独立不同的想法。最后，当我们在一个固定沙箱中用编码智能体执行每一组想法时，我们的模型在 success@k 上与 Claude Opus 4.8 相当，这表明我们能够在不牺牲构思的可执行性等重要方面的前提下提升多样性。 贡献 我们的贡献是：（1）一个在训练中平衡质量与多样性的集合级 RL 目标；（2）该目标在文档驱动构思上的一次实例化；（3）一个 8B 训练构思模型，它在创造性效用上超过强大的闭源智能体以及在竞争目标上训练的模型，且在小规模试点人类研究与执行研究中其想法同样有前景。 图 1：我们训练流水线的概览。给定一组文档，策略生成一组想法 U={u_1,\dots,u_k}；对于推理模型，整个集合是在一个共享的推理前缀之后生成的。每个想法 u_i 由其质量 q_i 和它到最近的前一个想法的距离 d_i 来评分（d_1=1），得到单项奖励 r_i = q_i \cdot d_i。集合奖励 R(U)=\sum_i r_i 被用作更新策略的 RL 信号，鼓励既高质量又多样化的想法集合。 ## 2使用集合级奖励进行训练 ### 2.1背景 我们首先描述所基于的语言模型标准强化学习设置。一个参数化为语言模型的策略 \pi_\theta 将提示 x 映射到文本输出 y 的分布上。给定奖励函数 R(x,y)\in\mathbb{R}，训练的目标是最大化期望奖励：\max_\theta\ \mathbb{E}{x\sim D,\ y\sim\pi\theta(\cdot\mid x)}\big[R(x,y)\big]. (1) 我们用群体相对策略优化（GRPO）（Shao et al., 2024 (https://arxiv.org/html/2610.22324#bib.bib13)）优化公式 1 (https://arxiv.org/html/2610.22324#S2.E1)：对每个 x，我们采样 G 条 rollout {y_1,\dots,y_G}\sim\pi_\theta(\cdot\mid x)，用 R(x,y_g) 为每条评分，并利用每条 rollout 相对于群体平均奖励的优势来更新策略，无需学习 critic。 ### 2.2集合级目标 在我们的设置中，每个提示 x 由一组 K 个输出 U={u_1,\dots,u_K} 来回答，这些输出是在一个共享的推理前缀之后通过单次生成写成的。这个集合就是公式 1 (https://arxiv.org/html/2610.22324#S2.E1) 中的 rollout y，因此 GRPO 用一个标量为它打分，并为每个集合计算一个优势值。于是所有 K 个输出共享那一个信用信号。我们的目标是得到一个高质量、且其输出彼此不同的集合。随后我们使用下面定义的集合级目标训练模型： R_set(x,U)=\sum_{i=1}^{K} q(u_i)\cdot\min_j … 和块，答案解析出的恰好是 K 张想法卡片，每张卡片的四个字段都不为空，且 problem_gap 和 method 字段以一个有效的分类标签开头。无效的 rollout 得到奖励 0，且不会调用评判器。有效的 rollout 除了集合分数外，还会获得一个小的额外加分 \epsilon=0.05。 长度惩罚。为防止 RL 通过加长卡片来抬高所评判的影响力，我们减去一个单边、带死区、有上限的惩罚。令 L 为 K 张卡片中拼接后的 problem_gap、core_claim 和 method 字段的 Qwen3 token 数，即恰好是质量评判器和距离评判器所读取的文本。inspiration 字段和 block 不计入，因此裁掉依据性内容无法规避惩罚。设目标长度为 L_0、容差为 \tau、斜率为 \lambda、上限为 c，则 pen(L)=\lambda\cdot\min!\Big(\max\big(0,\ L/L_0-(1+\tau)\big),\ c\Big). (6) 我们取 L_0=1{,}000、\tau=0、\lambda=1、c=3，因此低于 1{,}000 个 token 时不施加任何惩罚，且惩罚永不超过 \lambda c=3（在 4{,}000 个 token 处达到）。完整的训练奖励因此为： R(x,U)=1[\text{schema}]\big(\epsilon+\sum_{i=1}^{K} q(u_i)\cdot\min_j … 标签。两者随后都进入相同的 GRPO 阶段。 - •带思考。目标是教师生成的后见式思考轨迹（附录 A.3 (https://arxiv.org/html/2610.22324#A1.SS3)），后接包含 K 张想法卡片的答案。 - •不带思考（空 think）。同样的答案，但 block 为空。两种变体共享相同的 7,172 个训练实例和 100 个验证实例，因此答案完全相同，只有思考片段不同。 ### B.3DARLING DARLING（Li et al., 2025 (https://arxiv.org/html/2610.22324#bib.bib4)）优化的是同一个提示的各个 rollout 之间的质量与多样性，而我们的奖励强制的是单个生成集合 内部 的多样性。我们在自己的设置下重新实现了它，使我们方法与其之间唯一预设的差别就是多样性在何处被强制。我们保留 DARLING 的分组划分多样性项及其乘性奖励，并用本文其他地方使用的评判器替换它的可学习等价性分类器和质量奖励。 设置（无 SFT）。DARLING 以 K=1 训练：每条 rollout 是一张想法卡片，同一个提示的 rollout 群体提供多样性信号。依照他们的方案，我们直接从 Qwen3-8B 开始 GRPO，没有 SFT 热启动。因此模型只从奖励中的 schema 检查和提示（与附录 B (https://arxiv.org/html/2610.22324#A2) 相同）中学到卡片格式。这与原方法一致，后者同样是直接对一个指令微调模型应用 RL，而没有任务特定的 SFT 阶段。训练实例、提示和评判器与我们方法所用的相同。 奖励。对于同一个提示的 n=8 条 rollout {y_1,\dots,y_n}，第 i 条 rollout 的奖励为 r_i=q(y_i)\cdot\mathrm{div}_i,\qquad\mathrm{div}_i=\max!\Big(0.1,\ \frac{n-\lvert C(i)\rvert}{n-1}\Big), (8) 其中 q(y_i) 是与附录 C.1 (https://arxiv.org/html/2610.22324#A3.SS1)（SciJudge-30B）相同的、针对金标准想法的成对影响力胜率，C(i) 是包含 i 的簇。簇由对成对等价性测试做并查集得到，与 DARLING 发布的代码一致。若两条 rollout 之间的想法距离低于 0.5 的阈值，则将它们合并。我们用本文的距离评判器（gpt-oss-120b，附录 C (https://arxiv.org/html/2610.22324#A3)）来测试等价性，替代 DARLING 训练的 Qwen3-Embedding 分类器。因此，处于一大组近重复 rollout 中的 rollout 会得到很低的多样性分数，而一条独特的 rollout 得分接近 1。由于 K=1，每条 rollout 只有一个想法，因此不需要集合级聚合。无效的 rollout 得到奖励 0。 优化。我们沿用 DARLING 的方案：每条提示 n=8 条 rollout，每步 12 个提示，优势值不做标准差归一化，对称 PPO 裁剪设为 0.2，无熵奖励，KL 系数 0.001，学习率 1\times 10^{-6}，训练与验证的 rollout 温度均为 1.0。 评估。测试时，我们对每个实例采样三次独立生成并将它们视为该集合，因为策略被训练为每次生成产生一个想法。第 5 节 (https://arxiv.org/html/2610.22324#S5) 的所有指标都在这个集合上用与其他模型相同的评判器计算。 ### B.4Olmo-3 详情 为验证该方案并非特定于某一个模型家族，我们在 Olmo-3-7B（Olmo et al., 2025 (https://arxiv.org/html/2610.22324#bib.bib32)）上重复了它。我们从 allenai/Olmo-3-7B-Think-SFT 初始化，并使用与表 7 (https://arxiv.org/html/2610.22324#A2.T7) 相同的 SFT（带思考与不带思考）和 GRPO 设置。长度惩罚用 Olmo 的 tokenizer 计量。两个 tokenizer 对卡片文本的计数相差约 0.5%，因此 L_0 不变。结果见附录 E (https://arxiv.org/html/2610.22324#A5)（方案向其他模型的迁移）。 ### B.5计算 所有运行均使用单节点 8 张 NVIDIA H200 GPU。SFT 使用全部 8 张 GPU，在 7,172 个实例上每个 epoch 约需 46 分钟。对于