你是否同意Judea的观点,即从数据中学习并非万能?[D]
摘要
Judea Pearl认为,仅从数据学习存在数学上的局限性,指出无法从相关性推断因果关系。本文引发讨论:纯粹的数据驱动学习是否足够。
链接:[Judea Pearl,2011年ACM图灵奖得主](https://youtu.be/XExyqAYDnvw?si=BVyX-oEetFslAvZq&t=8285) (2:18:05) 引述:
> 有一个限制,并非所有人都理解。我已经提到过,存在一个层级结构,从相关性到因果性,再从因果性到解释或想象。人们,尤其是机器学习领域的人,很难理解那道墙——一个层级的局限,以及一个层级在哪里结束、另一个层级从哪里开始。为什么呢?因为两件事。机器学习的学派有两大范式,它们深受大家喜爱。第一是白板(tabula raza),我不希望有任何先入之见,我不希望有任何先验知识,我想自己推导一切,让计算机学习,你会发现“学习”这个词被过度使用了。另一重束缚是:我们要像大脑那样做事情。所以,如果看起来像是神经元在交互,那就好;如果看起来像是知识来自规则系统,那就不好,因为那是人造的。现在,这存在局限性。我们今天可以证明,仅通过观察数据是无法完成某些事情的。这不是观点问题,而是数学证明的问题。你可以观察那些整天服用阿司匹林的人,以及那些整天头痛或不头痛的人,但你无法证明阿司匹林是导致头痛的原因。尤其,Judea指出:**“这不是观点问题,而是数学证明的问题。”** 所以,我们有形式化的证据表明,从数据中学习存在根本性的局限。Judea在采访中后来指出,机器学习社区面临的问题是有解决方案的;然而,由于炒作,这些方案并未被采纳。**讨论。** 你同意Judea的观点吗?
相似文章
@ZoharAtkins: https://x.com/ZoharAtkins/status/2054168204658815070
这篇论文将杰文斯悖论应用于AI驱动的托拉学习,认为随着像Yochai和Rav Dicta这样的AI模型使犹太文本免费可获取,对深刻见解和人类拉比指导的需求反而会增加。
无需数据清洗即可获得高质量预测(为何“垃圾进,垃圾出”有时是一种误区)
这篇arXiv预印本挑战了“垃圾进,垃圾出”的经验法则,认为在高维表格数据中,激进的手动数据清洗可能会通过减少三角测量潜在驱动因素所需的维度,从而限制预测性能。
观点:使用人工智能学习并无不妥
一篇观点文章认为,利用人工智能学习实用技能是有益的,但同时也提醒不要将其用于学习核心专业知识。
预测瓶颈无法发现因果结构(但它们实际上能做什么)
本文质疑了诸如 Mamba 等模型中的预测瓶颈能够恢复因果结构的说法,并通过一个新的基准测试证明,其性能提升主要归因于混杂因素和鲁棒性伪影,而非真正的因果发现。
我们是在优化 AI 研究以迎合录用标准,而非追求长远价值吗?[D]
一位研究人员批评了 AI 会议的录用文化,认为其过于注重取悦审稿人,而非产出具有长远价值的工作。他指出,当前普遍要求提供详尽的评估结果,但这些数据几乎不会被后续研究者再次验证。