旧想法，新问题

基于 LLM 的新颖性评估的不稳定性

论文：https://t.co/ylt1iCjkeq https://t.co/aOM3ADBEqP

论文页面 - 旧想法，新问题：基于 LLM 的新颖性评估的不稳定性

来源：https://huggingface.co/papers/2610.02022

摘要

自动化创意生成系统通常通过其产出想法的新颖性来评估，而这一判断越来越多地委托给大型语言模型。此类评审器通常是临时搭建的，即便经过验证，也是在人类撰写的论文上进行，而非在其本应评分的生成想法上进行。那么，这些新颖性评审器的表现如何呢？并不理想。我们对新颖性评估的设计选择进行了一项系统的对照研究。首先，我们自动构建了一个评估集，从 OpenReview 中挖掘审稿人明确肯定或质疑论文原创性的段落，仅保留在其研究领域内达成极端一致意见的投稿；我们将这些论文与一个普通 LLM 生成器产出的想法进行配对。在六个评审器上，我们发现微小的提示设计选择会产生巨大影响；例如，仅仅告诉评审器“审稿人认为其中一个想法新颖而另一个不新颖“，就能改变其对超过一半相同想法对的判定，使成对准确率偏移超过 50 个百分点，偶尔甚至低于随机水平。同一改动对一个评审器有帮助，却对另一个有害。检索机制和更大的推理预算收效甚微，而两个专门为新颖性评估构建的模型表现甚至不如我们最简单的提示基线。这些结果引发了对自动化创意生成系统所报告的新颖性提升的质疑，并呼吁开发更稳健的新颖性评估方法。

查看 arXiv 页面 (https://arxiv.org/abs/2610.02022) 查看 PDF (https://arxiv.org/pdf/2610.02022) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.02022)

将此论文引入你的智能体：

hf papers read 2610.02022

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

暂无关联此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2610.02022 即可在此页面建立链接。

引用此论文的数据集1

noystl/novelty-judge-bench 查看器• 更新于 7 天前 • 3.22k • 147 (https://huggingface.co/datasets/noystl/novelty-judge-bench)

引用此论文的 Spaces0

暂无关联此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2610.02022 即可在此页面建立链接。

包含此论文的合集0

暂无包含此论文的合集

将此论文添加到合集 (https://huggingface.co/new-collection) 即可在此页面建立链接。