论文页面 - 训练推理模型生成多样化的科学想法

来源: https://huggingface.co/papers/2610.22324

摘要

研究人员提出了一种集合级强化学习目标，用于训练语言模型生成多样化、高质量、基于文档的想法，其创造效用优于更大的专有模型。

研究流程的第一步通常是生成想法。大语言模型（LLM）正越来越多地被用于自动化这一步骤，但大多数工作只优化单个想法的质量，而忽视了多样性。在我们的工作中，我们研究基于文档的想法生成 (https://huggingface.co/papers?q=document-grounded%20ideation)，重点关注增加 LLM 生成想法的多样性并确保其高质量。基于先前的论文，模型必须提出一组想法，每个想法都高质量、彼此明显不同，同时又扎根于输入文档。为实现这一目标，我们提出使用集合级强化学习 (https://huggingface.co/papers?q=set-level%20reinforcement%20learning) 目标进行训练。在我们的设置中，模型在单次生成中撰写 K 张结构化的想法卡片 (https://huggingface.co/papers?q=idea%20cards)，这些想法均扎根于源论文，并且整个集合会被联合评分——每个想法的质量会根据它与之前所写想法的距离进行加权。这教会了模型让每个新想法与其前驱想法保持距离。我们表明，我们的 8B 模型在无污染基准 (https://huggingface.co/papers?q=contamination-free%20benchmark) 上达到了比 Claude Opus 4.8 和 GPT-6 Astra 更高的创造效用 (https://huggingface.co/papers?q=creative%20utility)（一种结合质量与多样性的度量）。在一项由四位专家参与的试点研究中，我们的想法集合被评为与 Claude Opus 4.8 的一样有前景，且包含略多的独特想法。当编码智能体在这些想法上运行概念验证实验时，我们模型的 success@k 与 Claude Opus 4.8 相当，因此我们看到增加的多样性并未牺牲可执行性。

查看 arXiv 页面 (https://arxiv.org/abs/2610.22324) 查看 PDF (https://arxiv.org/pdf/2610.22324) 项目页面 (https://manyawadhwa.github.io/projects/diverse_ideation/) GitHub2 (https://github.com/ManyaWadhwa/diverge_ideation) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.22324)

在你的智能体中获取此论文：

hf papers read 2610\.22324

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2610.22324 即可从此页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.22324 即可从此页面链接它。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.22324 即可从此页面链接它。

收录此论文的合集 0

没有合集收录此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接它。