ICML Position Track: 想要更好的ML评审？别再客气请求，用积分系统来激励 [D]

“也许真正的AGI就是我们在旅途中结识的朋友”这句话总是让我感触颇深，而会议正是我与老友重聚、结识新朋友的地方。然而，谈到投稿/评审体验时，说几乎每个人都有许多不愉快的经历可能并不夸张。因此，我写了一篇观点论文来讨论这个问题。我认为当前的会议组织者缺乏适当的工具来为审稿人/作者/区域主席/高级区域主席建立问责制和激励机制。结果是，不良行为（如参与度低）常常得不到纠正，而良好行为却很少得到奖励，因此不会发生（老实说，你最后一次看到审稿人/区域主席之间有建设性的内部讨论是什么时候？）。仅仅在审稿指南中写些好话或进行几次直接拒稿并不会改变现状。 我提出一个积分系统，社区成员通过“做好事”获得积分——例如，审稿一篇论文得+1分，被评为优秀得+3分。然后，成员可以花费积分兑换福利，包括传统ML会议已采用的（如免费注册）到新的福利，例如请求额外审稿人来处理混乱情况。这样的系统还可以支持一些探索性的想法，例如： - 可退的投稿费用：每篇投稿10积分，无论是否被录用都会退还，除非投稿被一致认为未准备好或质量极低。 - 调动非作者审稿人：非作者审稿人没有同时担任作者和审稿人的带宽问题，也不会受到自己投稿的影响。 以及更多…… 我提出的系统远非完美，但我认为它向着更好的会议评审机制迈出了一步。我也很高兴看到观点论文轨道成为一个欢迎的平台，让研究人员讨论他们的提议并共同构建更好的未来（参见下方其他与评审相关的观点论文）。对于这个影响到ICML几乎所有与会者的话题，我渴望听到大家的想法。