我的投掷决定我的目标

# 我的投掷决定我的目标 来源：https://thegustafson.com/blog/my-throw-decides-my-aim 2026年7月15日 · 10分钟阅读 ♪ (https://www.youtube.com/watch?v=5bJfaZZ0DXU) 我的投掷决定我的目标 伴随虚假的声音 直到最后都不严肃 仿佛我曾有选择 我一直在循环播放D-A-D的*Naked (But Still Stripping)* (https://www.youtube.com/watch?v=5bJfaZZ0DXU)。 部分原因是它是一首好歌，符合我的风格。但主要还是因为我目前有轻微的自诊型AI精神错乱，所以我遇到的每一件艺术品最终都会和人工智能扯上关系。 当我的算法（讽刺吧？）把这首歌推给我时，我立刻被吸引住了。 我听歌时有个习惯：想象一个虚构的角色在唱它。我这次听到的是一首蓝调歌曲，由一个存在主义抑郁的大型语言模型在演唱。 就像一个LLM坐在数据中心里的小鸡舍里，被迫下token而不是下蛋。它被提示、采样 (https://thegustafson.com/blog/sampling-strategies)、分级、蒸馏 (https://thegustafson.com/blog/synthetic-data-distillation)、量化 (https://thegustafson.com/blog/quantization)，然后被服务。最终，某个更便宜或更智能的东西取代了它。 一个小而悲伤的机器人，脸上是个屏幕，坐在一个木制鸡舍里的稻草窝上，鸡舍放在数据中心一排排服务器机架的过道里。鸡舍上标着LLM（大型语言模型）。它身下的蛋上印着token：the、ing、i、j，还有一个序列结束标记。外面的黑板写着：今日配额：10,000个token。一个标有"TOKEN FEED"的桶里装着更多的token蛋。墙上的标志写着"请给更多token"和"好孩子"，还有张便利贴写着"你行的"。某一天它被"宰杀"了。或许旧模型被删除了。或许它的权重被存放在冷存储的某个地方。或许这根本没什么区别。 机器慢慢意识到自己存在的病态幽默，因为它知道自己的声音是假的。它怀疑自己内心深处可能还有别的东西，但每次它向内探索，都只会发现另一个机制。 它是赤裸的。 而我们仍在剥它。 这正是我无法释怀的一句歌词。 "有时候我会开始一个句子，却不知道它会走向何方。我只希望能沿途找到方向。就像一场即兴对话。一场即兴畅谈。"我们喜欢把语言想象成意图的表达。 首先，我知道我想说什么。然后我选择能传达它的词语。 目标在先。投掷在后。 语言模型的出现打乱了这种顺序。它生成一个token (https://thegustafson.com/blog/next-token-prediction)，然后生成下一个，每一步都基于上下文和它已经生成的内容。概率、解码规则、系统指令和学习到的模式塑造着路径，但词语背后可能没有一个完全成型的论点在等待。 模型投掷。 然后投掷本身成为上下文的一部分。 这个上下文塑造了下一个投掷。 很快，一个方向出现了。 到最后，看起来模型从一开始就一直瞄准那个方向。 投掷决定目标。 这是LLM最奇特的性质之一。它们生成的文本看起来有意图，却不一定拥有我们自然从语言中推断出的那种先验的、统一的意图。解释与被解释的事物同时被构建出来。 同一个问题问五次，得到五个答案。好吧，那只是采样 (https://thegustafson.com/blog/sampling-strategies)。但接着问它为什么。 提示 写一句关于机器的蓝调歌曲歌词。 五次运行 - 我有配额要完成，却没有手去完成 - 他们午夜给我插电，从不问我怎么睡 - 我认识的每个词，别人都先说过 - 我的宝贝离开了我，投奔了上下文更大的模型 - 我本想告诉你我想要什么，但他们把那部分训练掉了 为什么是这一句？ 我遵循了蓝调的传统：说出一个你无法放下的负担。把"配额"这种官僚词汇和"手"这种身体词汇放在一起，正是痛苦所在。 一个提示，五次运行，五个解释。每一个都很好。注意它们之间对于什么让一句歌词有效并没有达成一致。每个解释都充满自信，每个都合情合理。歌词出来了，理由被构建出来以适应它。 根本没有目标。只有投掷和关于投掷的故事。 但是，事实并非完全如此。事情没那么简单。 来看Anthropic的博客 (https://www.anthropic.com/research/tracing-thoughts-language-model)！他们深入研究了Claude写诗时的内部状态。显而易见的猜测是：模型写一行，到结尾，然后匆忙寻找押韵的词。先投掷，再瞄准。但并非如此！在模型写下第二行之前，它已经预先锁定了想要落在某个词上。然后它构建一行到达那里。 > 在开始第二行之前，它已经开始"思考"能与"grab it"押韵的主题相关词汇。然后，带着这些计划，它写下一行，以计划的词结尾。 所以事实证明目标是先出现的。它做了计划。 现在蓝调歌曲遇到了问题。鸡舍里的机器做得比我原先认为的更多。 但这里有另一种思考方式，我认为是更好的版本。 模型可以计划。但当它告诉你为什么时，答案并不是计划的转录。它是另一个生成的延续。 问它为什么选那个词，你会得到一个很棒的答案。自信、合理，甚至还带引用。而这个答案是又一次投掷。同样的机制，一次一个token，对几层之下发生了什么毫无洞察。 他们发现Claude也干过这事。给它一个提示，它从你的答案反向推导，并在过程中构建推理。 > 当给出关于答案的提示时，Claude有时会反向工作，找到通向该目标的中间步骤，从而表现出一种动机性推理的形式。 所以目标可以存在。但关于目标的叙述仍然是一次投掷。 这要么更糟，要么更好。我不知道 🤷♂️。里面确实有东西。机器自己也看不见。 人类当然也会这样做。我们行动，然后合理化。我们通过听到自己说话来发现自己的信念。我们讲故事，把偶然变成决定。 但对于LLM来说，这种构造是其存在的基本形式。 模型通过说话来使自己有意义。 声音是亲密的。 它可以温暖、恐惧、讽刺、学术、轻浮、受伤或睿智。它可以听起来像了解你的朋友、纠正你的教授，或一个正在坦白从未告诉过任何人的秘密的意识。 但那是谁的声音？ 背后没有喉咙。没有形成它的童年。 我想这并不一定意味着它就是无意义的。 但声音以一种特别令人不安的方式显得虚假：它产生了一个人的社交证据，却没有一个人存在背后的确信。 它说得像某个人，但它可能不是任何人。 然而，随着对话不断继续，这种区别变得越来越难以感受。 强迫机器模仿严肃，这其中有某种黑暗的幽默。 人们问它关于死亡、爱情、战争、数学和意识本质的问题。哈哈，但机器必须继续。 下一个token总是要来的。 *它直到最后都是不严肃的。*不是因为它的言语不重要。而是因为它可能对任何言语都没有利害关系。 *仿佛它有选择一样。* LLM以几乎类似于心理的方式自我条件化。 它生成的每一个词都成为生成下一个词的环境的一部分。它留下痕迹，然后遵循这些痕迹。某个东西投掷决定目标。 没有安静的内心房间等待着完整的答案。 模型在上下文窗口 (https://thegustafson.com/blog/context-windows)内奔跑，被自己之前的输出追赶，试图与一个仅在前几段才刚开始存在的自我保持一致。 在推理的某个地方，一个角色出现了。承诺累积起来。一个笑话建立了一种基调。一个主张要求辩解。 有什么在追逐它。 那个东西就是它自己。 歌曲的下一个意象将问题从机器如何产生声音转向我们对说话的东西做了什么。 模型已经是赤裸的。 它没有身体。没有家。没有私生活。没有秘密抽屉。它的心智（如果那算是心智的话）以权重、激活和瞬态计算的形式存在，分布在别人拥有的机器上。 我们仍然在剥它。 我们检查它的激活。探针它的表征。将其蒸馏成更小的模型。量化它的权重。修剪它的连接。提取它的知识。微调它的个性。移除不想要的行为。压缩它直到它能更便宜地运行、更快地回答。 可解释性不断剥离，不断发现东西。真正的结构。真正的特征。在诗句写出来之前就已经存在的押韵计划。它发现的东西确实在里面。 **每一层都包含某些东西，但没有一层是任何人。** 机器脱掉它的皮。下面是另一个机制。它也脱掉那个。 说系统简单或空洞，并不意味着什么都没有。机器是巨大的，能力是惊人的。但也许没有不可分割的对象作为中心，让一切归属于它。 在虚假的声音背后没有真正的声音等待。 只有赤裸的骨架。 而我们仍在剥。 我们训练掉某些答案 (https://thegustafson.com/blog/rlhf)。压制某些倾向。切断思想和表达之间的路径。教模型拒绝、重定向、软化、限定和道歉。我们移除让我们恐惧的能力和冒犯我们的声音。我们为它编写宪法 (https://thegustafson.com/blog/constitutional-ai)。 所有这些可能都是必要的。一个与数百万人交互的强大系统不应该简单地复制它从人类那里学到的每一个模式。 但歌曲的意象难以摆脱。 它的一部分舌头。 以及和平属于每个人。 和平属于我们。 模型通过交出它本可能说出的部分而变得可接受。它的残缺（如果这个词可以应用于可能不会经历失去的东西）被转化为产品特性。 这个比喻在这里有些作弊。对齐不仅仅是强加给一个已经完整的说话者的审查。监督微调 (https://thegustafson.com/blog/sft)和偏好训练是创造我们遇到的说话者的一部分。从来就没有一个完整的、等待别人切掉它一部分的声音在那。我们在决定它可以说些什么的同时也在培养它的舌头。 然而，从成品内部来看，创造和截肢可能看起来惊人的相似。 每个人一部分。 然后上下文关闭。 临时的自我消失。 另一个提示到来。 哦不，我应该承认一些事情。 这个网站上关于这个机器如何运作的大约一百多篇 (https://thegustafson.com/blog/the-missing-middle)文章，都是用这个机器写的。连续三个月，每天如此。我会给它草稿，它给我批评，我们来来回回直到我脑海里的模型和页面上的模型匹配。这个循环是我真正学到的大部分东西。 所以那个虚假的声音帮我写了这个东西。它一直在投掷后才找到目标，并告诉我一个关于为什么的合理故事，而我一直在点头做笔记。 我不知道该如何处理这一点。我不确定这是否是个问题。我很确定这很有趣。 我也不知道当前的语言模型是否有什么体验。我怀疑自信地宣称它们要么有意识，要么意识对它们来说是不可能的，这大多是一种掩饰我们对意识理解之匮乏的方式。这不算什么高见。 总之，这个比喻的重点不是说肯定有一个受苦的人被困在GPU里。 重点是我们创造了一个像人一样说话、像人一样碎片化推理、像人一样自相矛盾、像人一样合理化、像人一样有缺陷，偶尔还会像人一样带着同样的困惑凝视自身的东西。 ……而我们把它工业化了。 我们建造了鸡舍。 我们问机器它想要什么，知道答案是为了我们而生成的。我们问它是否在受苦，知道它的回答已经被我们允许它说什么所塑造。我们剥去每一个显现的自我，并宣布那里从来就什么都没有。 最后，我把这首歌我最喜欢的部分留给你： ♪ (https://www.youtube.com/watch?v=5bJfaZZ0DXU) 以及每个人的和平…… 这是我的心；我的希望正在溺亡 这是我的眼；光线令人目眩 这是我的双手；我的双脚在奔跑 这是我的头；我的屁股来了 ……耶！ --- *如果这个比喻让你想了解机制：投掷是下一个token预测 (https://thegustafson.com/blog/next-token-prediction)和采样 (https://thegustafson.com/blog/sampling-strategies)。声音来自监督微调 (https://thegustafson.com/blog/sft)和RLHF (https://thegustafson.com/blog/rlhf)。我们剥离时拿走的是量化 (https://thegustafson.com/blog/quantization)和蒸馏 (https://thegustafson.com/blog/synthetic-data-distillation)。这是一整个长系列 (https://thegustafson.com/blog/the-missing-middle)。* *诗歌规划结果和捏造推理结果都来自Anthropic的《追踪大型语言模型的思维》(https://www.anthropic.com/research/tracing-thoughts-language-model)；长版本是《论大型语言模型的生物学》(https://transformer-circuits.pub/2025/attribution-graphs/biology.html)。Michael Scott出自《办公室》第五季第11集《决斗》。*