论文页面 - 论LLM作为评审在评估科学新颖性方面的局限

来源：https://huggingface.co/papers/2606.12071

摘要

大型语言模型生成的研究问题在与人类专家进行新颖性评估时表现出不一致的结果，这凸显了依赖LLM进行科学新颖性评估的隐忧。

LLM越来越多地被用于生成和评判科学想法。这使得新颖性评估 (https://huggingface.co/papers?q=novelty%20evaluation) 成为一个核心问题。完整的想法评估之所以困难，是因为它通常需要判断一个方法、其可行性以及其实验前景。因此，我们研究了一个更清晰的上游对象：研究问题（RQ）。RQ生成是科学构思的先决条件，并且RQ可以与真实论文中探索的问题进行比较。我们引入了RQ-Bench，一个基于近期arXiv论文 (https://huggingface.co/papers?q=arXiv%20papers) 构建的基准测试 (https://huggingface.co/papers?q=benchmark)。对于每篇论文，我们从其引用的背景、空白和贡献中重构出作者锚定的RQ。这些RQ并不是针对同一背景的唯一有效问题。它们是用于测试新颖性判断的作者锚定的参考点 (https://huggingface.co/papers?q=author-anchored%20reference%20points)。我们通过独立的LLM评审、比较性的LLM评审以及人类专家评估 (https://huggingface.co/papers?q=human%20expert%20evaluation) 来评估模型生成的RQ。LLM评审一致性地将模型生成的RQ评为高度新颖，从而产生了新颖性幻象；在比较评估 (https://huggingface.co/papers?q=comparative%20evaluation) 中，这种偏好变得更为强烈。然而，领域专家得出了相反的结论，更喜欢作者锚定的参考问题。我们进一步发现，许多生成的RQ范围狭窄或受源限制，这是LLM评审除非明确测试否则常会忽略的一个维度。总体而言，LLM评审与人类专家之间相互矛盾的新颖性评估 (https://huggingface.co/papers?q=novelty%20evaluation) 引发了关于使用LLM评估研究问题 (https://huggingface.co/papers?q=research%20questions) 科学新颖性的可靠性的严重担忧。

查看 arXiv 页面 (https://arxiv.org/abs/2606.12071) 查看 PDF (https://arxiv.org/pdf/2606.12071) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.12071)

引用该论文的模型 0

没有模型链接此论文

请在一个模型的 README.md 中引用 arxiv.org/abs/2606.12071 以从此页面链接。

引用该论文的数据集 1

declare-lab/rq-bench 更新于约12小时前 • 1.31k (https://huggingface.co/datasets/declare-lab/rq-bench)

引用该论文的空间 0

没有 Space 链接此论文

请在一个 Space 的 README.md 中引用 arxiv.org/abs/2606.12071 以从此页面链接。

包含该论文的收藏 0

没有收藏包含此论文

请将此论文添加到一个收藏 (https://huggingface.co/new-collection) 中以从此页面链接。