academic-evaluation

该论文在 232 篇 ICLR 2025 投稿上，对五种基于大语言模型的评审范式、三种输入表示形式和三个大语言模型进行了对比评估。结果发现：直接评分在经过重新校准后与相对排序结果一致，且 API 调用次数大幅减少；仅使用摘要的输入效果优于全文摘要输入；除 Group Rating 范式外，人类评分在预测论文引用数方面仍优于任何大语言模型范式。

本研究探讨了AI生成的评审影响未来AI评审者训练的反馈循环，导致判断多样性降低，这种现象称为'科学判断崩溃'。同时介绍了TrustReviewer，这是一个开源系统，通过精选训练和激活引导来缓解这一问题。