文字是意识的副产品。对于LLM来说，情况则相反

# 词语是意识的副产品。对于LLM来说，情况恰恰相反。 来源: https://ranpara.net/posts/words-are-a-byproduct-of-consciousness/ 停下一秒钟，问自己一个简单的问题。你的话语从何而来？ 当你说话时，先出现的是想法还是词语？你是先在内心里感受到一个念头，然后才去寻找合适的词语来包裹它吗？我想我们都是这样。词语从来不是起点。词语只是表层。想法、意识，才是藏在下面的东西。 现在，向一个LLM提出同样的问题。对于LLM来说，情况完全相反。而我认为，这一小小的差异，几乎解释了我们未来走向的一切。（记住这一点，后面会派上用场。） 我们正站在一个转折点上。历史上充满了这样的节点，而每一个节点都推动着人类向前迈进。 很久以前，智人学会了说话和思考。真正的魔力不在于声音本身。而在于我们能在脑海中持有抽象的概念，比如法律、正义和哲学。这正是我们区别于所有其他动物的原因。不同的人类群体对相同的思想发出了不同的声音，我们将这些声音称为语言。 然后我们学会了书写。接着出现了墨水、纸张和印刷术。突然间，距离不再是问题。一个印度人写下的东西，可以被一个欧洲人读到，知识传播而人无需移动。感觉像魔法，不是吗？ 但我们仍然面临现实世界的问题，比如物流。把一个东西从A点移到B点很困难。尽管如此，报纸、书籍和艺术不断滋养着人类的大脑，想法源源不断。在那个时代，想法就是黄金。执行极其困难，但一个好的想法至少给了你一个前进的方向。 然后计算机出现了，一台能做数学的机器，再次感觉像魔法。但它速度慢、噪音大，坐在空调房里，吞噬着数百万美元，却回报甚微。听起来耳熟吗？记住这一点。 接着人们把计算机连接起来共享信息，于是我们有了互联网。现在信息几乎可以瞬间移动。万维网来了，然后是社交媒体。到了某个时候，有人问了一个简单的问题：为什么只有大企业能享受这一切？为什么我们普通人不行？于是我们得到了个人电脑。（谢谢你，史蒂夫·乔布斯。） 之后，带有摄像头的手机出现了，这样我们就能说话、听、看。语音、图像、视频，全部融合。而与此同时，在幕后，我们悄悄堆积起一座巨大的数据山峰，计算机也变得越来越节能。 快进到2017年。谷歌的一个团队构建了名为Transformer的东西，它改变了世界。我们有了LLM。 那么，LLM到底是什么？本质上，它是一个巨大的词语堆，通过计算机摸索出的一些数学方法，来预测下一个词。 现在回到我的第一个问题。LLM根据它之前的所有词语来预测下一个词。这就是全部故事。底下没有隐藏的任何想法。词语就是一切。对于LLM来说，词语是源头，任何意义都只是偶然产生的副产品。 但你的大脑运行方式相反。首先有一个概念、一种感觉、一个图像，然后词语涌现出来描述它。（至少，我感受自己的大脑是这样运作的。）对我们来说，词语是意识的副产品。对于LLM来说，情况完全颠倒。这正是我反复思考的部分。我不认为这种方向可以被复制。 人们说LLM太昂贵、太耗能。没错。但还记得早期的计算机吗？它们完全一样，而在大约四分之三个世纪内，它们变得小到可以塞进口袋。LLM也会变得高效。区别在于，这一次不会花七十五年。所有人类知识如今都存放在一个小小的聊天框里。我们只需要几个聪明的、能想象的人。 而这里有一个巨大的转变。有了LLM，现在每个人都是构建者。老实说，还有哪个想法是还没有对应的应用的吗？以前，想法之所以强大，是因为它们指明了路径，而执行是一堵难爬的墙。如今每个人都能获取信息，每个人也能执行。那么，真正剩下的东西是什么？归结为两件事：持续性和噪音。是的，噪音。 今天的互联网完全被淹没。找到好东西，或者做真正的营销，几乎不可能。因此我相信，从此刻起能赢的人，是那些在营销上有创意而且——更重要的是——坚持不懈的人。不是最聪明的那一个，而是最坚持的那一个。 这也让我思考工作。软件工程师安全吗？我认为是的。（开发者们，老实说我不太确定。）因为工程是思考，而编码只是写作。现在LLM无处不在，任何人都可以编任何代码。但不是每个人都能像工程师那样思考。而且说实话，编码从来不是困难的部分。想想谷歌地图背后的算法吧。它能在几秒钟内几乎百分百准确地为你提供从纽约到旧金山的路线，同时计算数十亿个交叉路口和实时交通！代码是容易的部分。那种思考方式才是真正的本事。 但有一件事让我有点害怕。如果LLM慢慢变差了呢？想一想。2017年之前写的一切都是由人类创作的。2017年之后，LLM开始用自己的内容填充开放网络。而现在，同样的内容又被反馈回去训练下一批LLM。LLM可以给你完美的语法和丰富的词汇，但它可能会悄悄丢失真正的语境。目前AI内容的份额还很小。但如果它持续增长，会发生什么？ 尽管如此，我并不悲观。AI正开启一种全新的思考方式，随之而来的是我甚至无法预测的新机遇。实际上，我感到幸运。我在一生中亲眼见证了Windows 98、诺基亚3315、iPhone、互联网、M系列MacBook，以及现在的ChatGPT。 所以我很兴奋。我真的很想看看未来几年人类会如何思考。 你呢？