novelty-assessment

本文介绍了论文内声明验证框架，该框架利用大型语言模型评估论文中的创新声明是否得到方法学证据的支持，填补了现有自动化同行评审系统的空白。人工评估表明，该框架与人类评审员的关注点显著一致，特别是在创新相关问题上。

本文介绍了RQ-Bench，一个用于评估LLM判断科学研究问题新颖性的基准。研究发现，LLM裁判一致认为生成的问题比人类专家认为的更新颖，这引发了对使用LLM进行科学新颖性评估可靠性的担忧。