有多少已发表的AI研究因数据泄露而错误？

有一篇由Kapoor和Narayanan撰写的普林斯顿大学论文。他们在包括医学和经济学在内的17个领域的近300篇论文中发现了数据泄露。数据泄露意味着模型在训练时使用了它在进行真实预测时永远不会拥有的信息。因此，模型在测试集上表现优异，但在现实世界中却失败。我最喜欢的例子是内战预测。据报道，复杂模型击败了旧的逻辑回归。一旦数据泄露被修复，那些花哨的模型并不比几十年前的统计模型更好。我构建过足够多的模型，知道这有多容易意外发生。你在划分数据之前进行缩放，或者使用一个实际上是答案替代的特征，你的数字看起来就会很棒。所以现在当我读到另一个"AI攻克X"的标题时，我的第一反应是是否有人检查过数据泄露。