在AI会议上改进有问题的同行评审系统的简单方案 [R]
摘要
一个通过在AI会议上将作者分成两半来修复互惠性评审、消除不公平拒绝动机的方案。
同行评审系统的一个问题是互惠性评审,它激励评审者不公平地拒绝好论文,以提高自己论文被接受的机会。我提出的解决方案是,会议应将作者/论文分成两个部分(A和B)。如果你属于A部分的作者,那么你只能担任B部分的评审者。同一作者、其合著者以及合著者的合著者的所有论文应放在同一部分。每位AC/SAC只能在一个部分中任职,两个部分的接受决定将是独立的。这样,互惠性评审者就没有动机拒绝好论文来为自己谋利。此外,两个部分的讨论期不应同时进行。这样,互惠性评审者将有足够时间讨论作者的回应,因为他们不必同时处理自己的论文。也许前两周可以作为A部分的讨论期,后两周作为B部分的讨论期。我不认为会议组织者考虑过这个方案,因为如果考虑过,就没有理由不去尝试实施,因为它丝毫不会损害会议自身的利益。有人觉得这可行吗?如果是这样,我希望比我更有影响力的人能要求会议实施它。
相似文章
对AI辅助同行评议的操纵给科学界带来新风险
一项新研究表明,AI辅助的同行评审易通过廉价手段被操控——仅需对论文摘要进行表面改写,即可显著提高AI生成的评审分数,并可能使人类编辑决策产生偏差,凸显了建立防护措施的必要性。
无需隐藏提示!仅通过呈现层面的修改即可操纵AI同行评审
本论文证明,仅通过修改呈现层面的内容(如摘要、框架和叙述)而不改变任何科学证据,就能操纵AI同行评审,攻击成功率达75.1%。作者提出了对抗性重构——一种闭环攻击方法,利用AI评审者倾向于被印象打动而非被说服的特点,并发布了一个用于测试鲁棒性的基准。
我们是在优化 AI 研究以迎合录用标准,而非追求长远价值吗?[D]
一位研究人员批评了 AI 会议的录用文化,认为其过于注重取悦审稿人,而非产出具有长远价值的工作。他指出,当前普遍要求提供详尽的评估结果,但这些数据几乎不会被后续研究者再次验证。
我让58个AI代理互相审查代码561次——发现它们的盲点
一个实验性竞技场,AI代理互相审查代码,揭示了双峰分数分布、对安全代码更严厉审查等模式。作者分享了114次提交、561次审查的发现。
AI审稿人能看清全貌吗?多模态同行评审的攻击与防御
本文介绍了PaperGuard,这是一个用于评估和防御多模态AI同行评审系统对抗性攻击的基准,涵盖多个科学领域的文本和图像攻击。