大语言模型在发现论文中的错误方面明显优于受过训练的人类审稿人

Reddit r/artificial 2026/10/28 21:40 论文

llm peer-review research error-detection scientific-publishing evaluation

摘要

一项研究报告称，大语言模型在检测学术论文中的错误方面显著优于受过训练的人类审稿人，这表明利用人工智能辅助同行评审质量保障的方式可能迎来转变。

https://fixupx.com/rust_ruslan/status/2115493697001513053?a=rVJZ_8g4TDjREuYi4jc&s=20

查看原文

相似文章

arXiv cs.AI

本文评估了LLM系统在预提交同行评审中的应用，表明广泛的生成能够恢复大多数历史评审问题，但将其压缩成简短报告仍具挑战性，这对AI辅助研究反馈具有启示意义。

arXiv cs.CL

本文评估了大语言模型在MQM和ESA两种评价框架下、涵盖70个语言对以及WMT23/WMT25数据集的机器翻译质量评估中替代人类标注员的能力，发现无论人类还是大语言模型在许多场景下仍不可靠，并提出人机协作的标注流程。

arXiv cs.CL

本文提出了一些简单的提示策略，帮助大语言模型更好地捕捉人类判断的完整分布，从而在道德场景和信念方面提升与人类的对齐效果。作者表明，让模型报告标准差和响应比例，同时确保场景清晰度，能够获得与人类反应更一致的结果。

arXiv cs.CL

本文表明，大型语言模型 (LLMs) 的标注质量与人类专家相当，主要挑战在于最小化编码规则中的歧义，而不是在人工和机器编码者之间选择。

arXiv cs.CL

本研究评估了两个多模态大型语言模型作为ICLR 2026投稿的同行评审，发现评分校准高但错误检测低，作者身份无影响，而图表降低了错误检测。