在AI会议上改进有问题的同行评审系统的简单方案 [R]
摘要
一个通过在AI会议上将作者分成两半来修复互惠性评审、消除不公平拒绝动机的方案。
同行评审系统的一个问题是互惠性评审,它激励评审者不公平地拒绝好论文,以提高自己论文被接受的机会。我提出的解决方案是,会议应将作者/论文分成两个部分(A和B)。如果你属于A部分的作者,那么你只能担任B部分的评审者。同一作者、其合著者以及合著者的合著者的所有论文应放在同一部分。每位AC/SAC只能在一个部分中任职,两个部分的接受决定将是独立的。这样,互惠性评审者就没有动机拒绝好论文来为自己谋利。此外,两个部分的讨论期不应同时进行。这样,互惠性评审者将有足够时间讨论作者的回应,因为他们不必同时处理自己的论文。也许前两周可以作为A部分的讨论期,后两周作为B部分的讨论期。我不认为会议组织者考虑过这个方案,因为如果考虑过,就没有理由不去尝试实施,因为它丝毫不会损害会议自身的利益。有人觉得这可行吗?如果是这样,我希望比我更有影响力的人能要求会议实施它。
相似文章
位置:想要更优质的机器学习评审?别再礼貌请求,改用学分制激励如何?
本文论证,改进机器学习同行评审需要实施可执行的程序保障措施,并引入可消耗积分系统(如OpenReview Points),以此激励优质评审并控制投稿量。
同行评审已不堪重负——它能在人工智能时代生存吗?
文章探讨了同行评审系统如何艰难应对研究出版物和人工智能辅助论文的指数级增长,导致志愿审稿人不堪重负,并引发错误和延误,促使人们呼吁改革。
ICML Position Track: 想要更好的ML评审?别再客气请求,用积分系统来激励 [D]
这篇观点论文提出在ML会议中建立积分系统,通过为良好行为给予积分并允许兑换福利来激励高质量评审。
用这一个简单技巧让代码审查重新可行
文章提出使用堆叠分支(小型、顺序的拉取请求)来使审查AI生成的代码更易管理和高效,解决常见的大型、难以审查的差异问题。
对AI辅助同行评议的操纵给科学界带来新风险
一项新研究表明,AI辅助的同行评审易通过廉价手段被操控——仅需对论文摘要进行表面改写,即可显著提高AI生成的评审分数,并可能使人类编辑决策产生偏差,凸显了建立防护措施的必要性。