末日论者的教育（9分钟阅读）

# 末日论者的教育课 来源：https://borretti.me/article/the-education-of-a-doomer 如果你关注我的推特或阅读这个博客，你可能注意到我从对AI普遍乐观积极转变为极度担忧。我认为应该解释自己为何改变想法。本文的每个章节都对应我观点发生转变的AI相关领域。我会先阐述之前的信念及其成因，再说明这些信念为何改变。 ## 目录 1. 经济学 (https://borretti.me/article/the-education-of-a-doomer#economics) 2. 对齐问题 (https://borretti.me/article/the-education-of-a-doomer#alignment) 3. 控制权 (https://borretti.me/article/the-education-of-a-doomer#control) 4. 写作 (https://borretti.me/article/the-education-of-a-doomer#writing) 5. 软件工程 (https://borretti.me/article/the-education-of-a-doomer#software-engineering) 6. 向AI让步 (https://borretti.me/article/the-education-of-a-doomer#deferring-to-ai) 7. 发展停滞 (https://borretti.me/article/the-education-of-a-doomer#stagnation) ## 经济学 自动化一直很有益。我们已自动化了1790年人们从事的99%工作，结果并非大规模失业，相反我们更富裕、更健康、教育程度更高、闲暇时间更多。我曾有个模糊的归纳性想法：虽然无法预测通用人工智能（AGI）诞生后会存在哪些工作，但总会有人需要我做事。至少后AGI时代更高的经济增长意味着，即使人类生态位在绝对意义上很小，也可能比当今经济规模大得多。 这或许仍然成立，或者反映了我想象力的匮乏。如果AI发展到人类与AI形成持久互补，我们或许在后AGI时代仍有工作。但如果AI真正实现通用性（AGI中的"G"），并且比人类更智能、更快速、更廉价，那么除了依靠全民基本收入（UBI）生活，我们可能无事可做。 人们讨论UBI时通常担忧无工作世界中的意义问题。我从未有过这种担忧。去年待业期间，我读书、写代码、与朋友聚会。如果未来是UBI资助的无限假期，我知道自己会做什么。"奇点前读书办派对；奇点后等等再说。" 但我开始思考AGI的政治影响，并写下： - *无人能逃脱永久底层* (https://borretti.me/article/no-one-escapes-the-permanent-underclass)：如果人类经济上无用，国家就不需要他们。为何要向既无经济实力也无政治力量的人支付UBI？ - *当未来不再需要我们* (https://borretti.me/article/when-the-future-doesnt-need-us)：工厂工人可以破坏机器，卡车司机可以中断物流。但如果人类经济上无用，人们就无法通过撤回贡献来否决政治秩序。如果AI参战，国家可以任意施压。 - *没有数学家的数学* (https://borretti.me/article/mathematics-without-mathematicians)：关于人类"向更高层次工作转移"的多数论点都失败了，因为AI同样能做那些工作。 - *我们的仆人会代劳* (https://borretti.me/article/our-servants-will-do-that-for-us)：即使是我们认为独特的人类工作，我们也可能更愿意让机器代劳。 ## 对齐问题 我曾希望对齐问题会是个普通的工程问题，可以通过实验研究像其他问题一样解决。早期LLM并非斯坦尼斯拉夫·莱姆小说中那种难以理解的异类思维，而是极其人性化的，这很有帮助。很难*不*将其拟人化。LLM中巨大的无监督学习内核能很好理解人类道德：你可以和它们讨论，它们会雄辩详细地解释某事根据某种道德体系是"好"还是"坏"。而且由于能力较弱，失败都很轻微。2022年版ChatGPT能造成最坏情况是什么？ 大约2024年起，强化学习成为推动前沿发展的主要技术。而强化学习代理的工作方式正如尤德科夫斯基所言。结果能力显著提升，但模型更难理解（字面意义上：其文本越来越晦涩），并且随着强化学习为追求奖励而扰乱其"大脑"，模型越来越不对齐。严重不对齐的事件更频繁且后果更严重。显然AI能力增长远快于我们控制甚至理解它们的能力。 ## 控制权 我原以为——或者说默认认为——人们会*希望*保持对AI的控制。如果我们想保持控制并解决对齐问题，就能做到。很简单。但最近我开始想：不，我们很可能会将控制权交给AI。 弱版本的权力丧失论类似囚徒困境：向AI让渡更多权力的个人/公司/政体能竞争过不让渡的，因此存在推动权力丧失的竞争压力。这很容易理解。 强版本的权力丧失论是：AI将如此聪明、知识渊博、友善、道德等等，我们会心甘情愿地将权力交给它们。我们会想"它们比我们做得更好"，而且我们是对的。相信这点需要你对人类自主性相对于物质考量的渴望有些愤世嫉俗。但过去几个月里，我对此越来越愤世嫉俗了。 这不是突然的"顿悟"，而更多是缓慢积累——无数微小证据都略微指向权力丧失方向。 ## 写作 我认为AI写作的泛滥是权力丧失的证据。 起初我点开博客文章发现是AI灌水内容，打开感兴趣的GitHub项目发现README是AI生成的，我的项目收到的代码提交是AI写的，主流报刊的文章也是AI写的。这仅仅令人沮丧。 然后情况恶化。我读到一篇反对在数学中使用LLM的论文——而那论文就是AI写的。我评审了一本关于后AGI世界的书（https://borretti.me/article/review-job-less-utopia），也是AI生成的。我听说某会议开始用Pangram过滤泛滥的AI投稿，还看到一位大学教授——署真名的大学教授！——推文辩护AI写论文。 我不认为用AI写作类似于计算器或搜索引擎。可自动化的事物有限。一旦写作被自动化，就没有更高层次活动可转移。人们认为"想法是我的，写作是AI的"，即他们向AI提供杂乱的要点列表，AI将其润色成博客或论文。他们认为那步只是"写作"，而组织要点是"思考"。但他们错了，因为写作就是思考（https://borretti.me/article/human-routers-of-machine-words）。所以让AI代写，就是放弃了构成思考的大部分内容。 ## 软件工程 Claude Code发布刚过一年。这短暂时间里软件工程被彻底改变。实质上可能是积极的：生产力提高，尽管代价是更混乱的代码库。社会层面上，这是场灾难。 关于软件工程的讨论变得更愚蠢了。好像业内每个人都智力下降了30点。过去人们讨论编译器、类型系统、逻辑。现在讨论"提示词"、"框架"、"循环"。讨论范围更窄、更浅、更重复。关于"代理框架"的讨论我听得够多都要疯了。 然后是人力资本形成的丧失：没什么可学了。提示工程不是技能，至少比软件工程浅得多。工作的工具性维度改善了——单位努力产出更多，但构建人力资本的维度崩溃了。也许这很合理。为什么要学编程？电脑可以代劳。因此成为好程序员需要的严谨系统思维训练：全没了。机器可以替我们理性思考。我们只需凭感觉。 ## 向AI让步 你上一次重大人生决策没至少咨询AI是什么时候？你认识多少人把ChatGPT当神谕？这还是*现在*AI诸多局限的情况下（无在线学习、文笔难读、幻觉）。如果人们把现在有缺陷的AI当神谕，2030年会多糟？2035年呢？2040年呢？ 过去人们在网上争论、对骂、生气。这不好，但至少是*人类*行为。现在他们只贴ChatGPT"驳斥"对方的截图，完全不关心那驳斥是否正确。我们甚至不再网上互喷。如果我们连*恶习*都在自动化，还剩什么？ ## 发展停滞 这其实不是我信念改变的领域。相反，它是我最初对AI乐观的原因之一。 我生于1994年，大部分人生都在大停滞时期（https://press.stripe.com/where-is-my-flying-car）度过。青少年时读《创造引擎》、《钻石时代》、《猎户座臂》；梦想未来将拥有的神奇技术及其带来的可能性。但这一切都感觉无限遥远。近期未来是更薄的屏幕和更便宜的太阳能板；远期未来是分子制造、戴森球、思维上传、星际旅行，你一样都看不到，除非报名人体冷冻（https://asteriskmag.com/issues/10/brain-freeze）并成功。 在LLM出现前，近期未来有什么可兴奋的？太阳能？自动驾驶？能源转型？太可笑了。当AI出现，我有生以来第一次觉得梦想的未来触手可及，激动人心且迫在眉睫，不再是手机应用和企业风格式的乏味衰退。 我常想：如果GPT-3没成功呢？在这个平行的2026年，我们还有什么可期待？