也许Transformer就是那个奇点？

Reddit r/singularity 新闻
transformer artificial-general-intelligence ai-architecture deep-learning singularity machine-learning

摘要

本文探讨了Transformer架构如何已成为人工智能中的基本组件，吸收各个领域，并可能作为实现人工通用智能的基底。

Transformer开始感觉不像另一个AI架构，而更像是我们偶然发现的某种基本对象/实体。几乎我们扔给它的任何东西似乎都被吸收到同一个结构中：语言、视觉、音频、视频、代码、数学、推理、工具、智能体、整个环境。而且似乎还没有明显的概念上限。我们只是不断发现新方法，让同一个底层对象表示更多知识并执行更多种类的计算。它几乎感觉像一个信息黑洞，只是它不摧毁信息，而是吸收信息并将其转化为智能。也许Transformer不仅仅是通向AGI道路上的一步，也许它是整个过程发生的基底。也许我们在2017年创建第一个Transformer时就越过了事件视界。
查看原文

相似文章

奇点可能相当令人失望

Reddit r/ArtificialInteligence

本文利用科技树的比喻来论证，如果进一步的创新需要超过当前能力的智能水平，AI奇点可能会停滞不前，从而显得令人失望。

人工智能作为一种社会技术

Lobsters Hottest

本文批判了人工智能话语中持续存在的“奇点”叙事，主张应将当前的大语言模型作为一种社会技术来分析，而不是将其视为通往超智能的神秘路径。