在AI会议上改进有问题的同行评审系统的简单方案 [R]

Reddit r/MachineLearning 新闻

摘要

一个通过在AI会议上将作者分成两半来修复互惠性评审、消除不公平拒绝动机的方案。

同行评审系统的一个问题是互惠性评审,它激励评审者不公平地拒绝好论文,以提高自己论文被接受的机会。我提出的解决方案是,会议应将作者/论文分成两个部分(A和B)。如果你属于A部分的作者,那么你只能担任B部分的评审者。同一作者、其合著者以及合著者的合著者的所有论文应放在同一部分。每位AC/SAC只能在一个部分中任职,两个部分的接受决定将是独立的。这样,互惠性评审者就没有动机拒绝好论文来为自己谋利。此外,两个部分的讨论期不应同时进行。这样,互惠性评审者将有足够时间讨论作者的回应,因为他们不必同时处理自己的论文。也许前两周可以作为A部分的讨论期,后两周作为B部分的讨论期。我不认为会议组织者考虑过这个方案,因为如果考虑过,就没有理由不去尝试实施,因为它丝毫不会损害会议自身的利益。有人觉得这可行吗?如果是这样,我希望比我更有影响力的人能要求会议实施它。
查看原文

相似文章

对AI辅助同行评议的操纵给科学界带来新风险

arXiv cs.CL

一项新研究表明,AI辅助的同行评审易通过廉价手段被操控——仅需对论文摘要进行表面改写,即可显著提高AI生成的评审分数,并可能使人类编辑决策产生偏差,凸显了建立防护措施的必要性。

无需隐藏提示!仅通过呈现层面的修改即可操纵AI同行评审

arXiv cs.CL

本论文证明,仅通过修改呈现层面的内容(如摘要、框架和叙述)而不改变任何科学证据,就能操纵AI同行评审,攻击成功率达75.1%。作者提出了对抗性重构——一种闭环攻击方法,利用AI评审者倾向于被印象打动而非被说服的特点,并发布了一个用于测试鲁棒性的基准。