论文页面 - 衡量人类与LLM研究想法之间的差距

来源: https://huggingface.co/papers/2607.01233
发布于 7月1日

·

由 Ziyu 于 7月6日 提交

摘要

大型语言模型生成的研究想法会聚集在特定的机会模式与范式周围，系统性地偏离了人类研究论文中更为广泛和多样化的分布。

LLM 越来越多地被用于头脑风暴研究想法，但现有的评估大多根据新颖性、可行性或专家偏好来判断单个想法。我们转而提问：当前 LLM 生成的想法与人类研究者之间有多大差距？为刻画这一差距，我们基于高质量人类研究论文构建了一个大规模的构思评估框架。对于每篇论文，我们反向推导出一小批很可能激发其核心想法的相关先前工作。然后，我们提示 LLM 根据一组论文标题和摘要生成一个新想法。我们引入了一个两轴研究品味分类法，通过机会模式和研究范式对每个想法进行画像，并以此量化人类与 LLM 想法之间的差异。在不同 LLM 生成的想法集合中，我们观察到一致的分布差距：LLM 想法不成比例地集中在桥接式机会和综合方法周围，而人类论文的参考文献分布则在构架空白和构建贡献的方式上更为广泛。这一结果表明，强大的 LLM 可以产出一系列合理想法，但这一范围仍然窄于且系统性地偏离于人类的研究品味。

查看 arXiv 页面 查看 PDF GitHub4 添加到收藏

在您的智能体中获取此论文：

hf papers read 2607.01233

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.01233 以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.01233 以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2607.01233 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集以从此页面链接。