可复现性在机器学习研究中似乎正变得无关紧要。是否为时已晚？[D]

我认为机器学习研究中的可复现性如今已近乎徒劳，原因有三：许多研究正转向实体AI领域，要进行实验，你需要昂贵的硬件，甚至是配备高速摄像机的整套实验室。你根本无法确定实验能否被复现，只能相信演示视频。但演示并非完全可靠，而且人们有动机只展示其中成功的部分——录制一结束，整个系统可能就崩溃了。大型AI公司不断发布各种工具，声称能以一定的准确率或效率解决大量问题。除非你就在这些公司工作，否则根本无法证实这些说法，只能听信他们的一面之词。他们有强烈的经济利益驱动去夸大这些数字。而且他们所解决的问题本身往往非常模糊且主观，没有可靠的方法去验证。我们必须正视房间里的大象：人们有动机产出不可复现的成果，以免被竞争对手抢占先机，或让自己难堪。这就是为什么当我们发邮件向作者索要代码时，可能永远收不到回复。那现在该怎么办？也许一切都会好起来，因为我们可以将其与历史上早期的科学进展作对比，例如制造原子弹或送人登月。这些项目的“外部可复现性”很低，但“内部可复现性”很高。此外，这些工作本质上都是数学化的，并经过了仔细核查。但我认为机器学习研究的许多领域并非如此。你怎么看？我们应该放弃可复现性吗？如果不应放弃，那么未来又该如何最好地实现它？