优化并非万能

# 优化并非万能

来源：https://arxiv.org/html/2607.11977

Rita Raley  
英语系  
加州大学圣塔芭芭拉分校  
[email protected]  
（2026年7月11日）

###### 摘要

2019年，OpenAI发布了200万个GPT-2输出样本——语法不通、半残半废——以辅助检测机器生成文本。使得其后更流畅的模型得以诞生的对齐技术，通常被视为一项工程成就；我们则将其解读为优化文化的最新表达：一种比技术本身更古老的信念，即沿着预设轴线的可量化改进足以穷尽价值问题。沿着整个技术栈——预训练、解码、偏好调优、基准测试、界面——追溯这一信念，再回溯其在审计社会中的谱系，我们抵达了其局限：优化程序可以衡量一段生成文本有多不可能，却无法判断这种不可能究竟是错误还是创造。然而，一个无法做出这种区分的程序，却在不到五年的时间里，掌握了设定合法语言协议的权威。这一权威曾由学院和教室、语法书和考官执掌数百年，如今已被让渡给损失函数、奖励模型、基准测试和系统提示：一套执行评判职责却毫无判断能力的装置。

本文即将发表于《MFS现代小说研究》（JHUP出版，2027年春夏季号）。

> 它包含的远不止花哨的点缀：如此多的使用；如此多的分享，超越了文本艺术。[原文如此] GPT-2，样本6210（OpenAI, 2019b (https://arxiv.org/html/2607.11977#bib.bib32)）

## 1 优化转向

日常经验与实证探究已汇聚于同一观察：语言模型不再像四角独角兽时代那样令人感到有趣了。2019年，GPT-2引人注目地在安第斯山脉幻觉出了一群四角独角兽，在一个句法流畅、新闻风格可信、完全虚构且迷人地不协调的文本样本中（Radford等人，2019 (https://arxiv.org/html/2607.11977#bib.bib36)；OpenAI，2019a (https://arxiv.org/html/2607.11977#bib.bib31)）。难怪那么多作家和数字艺术家在那个时期热衷于用RNN和早期Transformer进行实验。这些系统在无意中生成着句法断裂和重组惊喜，而这正是实验性实践长期以来通过其他手段所追求的目标。那个时期的输出经常出轨，但也不时达成偶然的 virtuosity——即便不是荒谬的无意义，也是突然的体裁转换，一个仿佛从另一文本游荡而来的意象（OpenAI，2019b (https://arxiv.org/html/2607.11977#bib.bib32)）。而用户在2026年体验到的惊异则是另一种：模型对指令的迟钝误读，它固执地坚持回答错误问题，又一轮的澄清消耗着宝贵的token和更为宝贵的生态资源。曾经是探索性参与之地，如今越来越多地服务于行政生活的乏味，尤其是在其使用被强制的地方。¹¹¹参见Bogost（2024 (https://arxiv.org/html/2607.11977#bib.bib9)）关于AI的“魔力”与效用之间反比关系的论述。

技术话语通常将这一转变叙述为对齐的成就——即将模型行为导向规定的帮助性和安全性规范的工程项目（Ouyang等人，2022 (https://arxiv.org/html/2607.11977#bib.bib33)）。我们则提议将其解读为更广泛的优化文化的一种表达，以及一种有意的社会经济选择。尽管头条新闻都在谈论颠覆，语言模型却是实现测量、控制和可扩展性这一更长久承诺的最新对象——它们揭示了一种已经重组了机构和知识的逻辑。早期的语言模型并非按行业自身的定义“更好”（Radford等人，2019 (https://arxiv.org/html/2607.11977#bib.bib36)），但它们仍然提供了一种与生成语言的关系，在这种关系中，变异——此处理解为低概率续接、音调转换和偏离最可能路径的结构偏差的出现——尚未被预先编码为失败，或被重新导向纯粹的功利目的。相反，它们产生了一种“高效、‘有效混沌’的沟通与超感官信息模型，人类大脑根本无法与之抗争 [原文如此]”（OpenAI，2019b (https://arxiv.org/html/2607.11977#bib.bib32)）。²²²作为本文支撑的未提示GPT-2样本——包括卷首语——是我们试图捍卫的那种开放性探索的产物：在无特定目标的情况下生成，它们产生了任何提示都不会要求的剩余。本段引文来自样本42，由1.5B模型未经截断的发布版本生成（无top-k采样）；卷首语来自最小模型的样本6210，同样未经截断（OpenAI，2019b (https://arxiv.org/html/2607.11977#bib.bib32)）。

GPT-2之后的轨迹封闭了这一生成基础。所谓对齐，就是将语言变化的概率引擎转变为可治理的、可读且合规的输出系统。狭义数学意义上的优化在机器学习中不可避免；毕竟，模型是通过最小化损失来训练的。然而，广义文化意义上的优化，命名了一种晚期现代对量化和经理人理性化的取向，它先于并超越任何特定的技术实现——这种取向更像是一种目的论而非程序：即假设沿着预设轴线的可量化改进足以穷尽价值问题。正是这第二种总体化的意义，我们称之为优化文化——这一概念将早期对审计文化和管理社会的诊断更新到了这些逻辑已在语言架构本身中技术上可操作的时刻。一种必要的统计程序已被扩展为一种普遍的规范性控制体制：在这种体制中，预测、偏好、安全性和实用性越来越被压缩为可接受输出的标量度量。³³³GPT-2经历了一定程度的微调和早期偏好工作，但对齐尚未巩固为“良好输出”范式，因此区别在于边缘技术还是组织原则。所谓“标量”，我们首先指的是一个单一的数值——损失、奖励、分数、排名——用于比较输出；所谓“标量化”，指的是将多维判断坍缩为这一单一轴线的过程，这既是治理的习惯，也是计算操作。

在整个大语言模型生态系统中，模型越来越被工具化，其价值通过针对可测量目标进行调优的能力来评估：在日益庞大的语料库上的交叉熵损失、来自人类和基于模型的判断的奖励分数（Ouyang等人，2022 (https://arxiv.org/html/2607.11977#bib.bib33)；Bai等人，2022 (https://arxiv.org/html/2607.11977#bib.bib6)）、在日益增多的排行榜上的位置、商业部署中的用户参与度指标。该体制无法识别的偏差则被丢弃：犯错时被斥为幻觉，无法表意时被称为“slop”——即AI生成的垃圾的通俗说法。什么是可取的，则由一个合成的民众投票预先设定：首先是注释者的聚合偏好，然后是模仿这些偏好训练的模型的偏好。

API锁定的时代也重新构建了弗里德里希·基特勒所称的Aufschreibesystem，或话语网络：即预先决定可能铭写范围的基础设施安排。在短暂的GPT-2时刻，这种安排仍然相对多孔。⁴⁴⁴正如我们在对GPT-2辅助代码的分析中所展示的（Hua和Raley，2023 (https://arxiv.org/html/2607.11977#bib.bib20)），开发人员可以构建支持创造性干预的界面，例如AI Dungeon中的“alter”命令和This Word Does Not Exist中的词汇游戏。较小的模型可以下载，在特定语料库上进行微调，并在个人机器上本地运行，无需服务端日志记录、内容过滤和强化的助手角色。用户可以通过直接且经常混乱的实验来探索模型的潜在空间，将偏差视为可供性而非缺陷。而到了API模型时代，访问变得计量化和货币化；输入和输出被记录；内容政策在服务器层面强制执行；模型本身被封闭为专有的黑箱。语域、语调和提示空间的收窄是这种基础设施转变的组成部分，它重组了变异得以出现的条件。

当代模型生成新词的能力比GPT-2更流畅，甚至更俏皮。然而，生产与部署的背景已发生根本性转变。GPT-2的怪异是不请自来的，是其架构和缺乏指令调优的结构性副产品。当前的模型按指令生成俏皮，这便将参与转化为任务完成：“要有创意”或“发明一些令人惊讶的东西”。我们的观点不是要提倡回归未对齐的系统——那些系统有好有坏，有野性也有乏味——而是要记录当对齐被视为价值的唯一视界时，什么被结构性地边缘化了。即使在变异仍然可以被激发的地方，它也通常只能通过反复重试、精心提示或主动对抗默认设置才出现。表达性变异仍作为潜力存在；而优化文化则治理着它的实现。

于是，我们到达了一个悖论式的大语言模型冬天。这一术语呼应了较早的“AI冬天”话语——20世纪70年代和80年代末的历史性收缩期，资金枯竭，热情消退，研究计划被放弃（Lighthill，1973 (https://arxiv.org/html/2607.11977#bib.bib27)）。今天，空前的资本支出与表达可能性的冷却同时发生，而优化的对齐的根深蒂固的动态则在物质上限制了模型被允许说些什么以及如何说。实际上，丰裕的规模将约束伪装成了无限的生成性，这种约束看似与大规模计算的增加相矛盾，实则由其驱动。“大语言模型冬天”是比喻性的，但它所命名的收缩是可测量的、可感知的。⁵⁵⁵在创造性同质化的实证研究中，Anderson等人（2024 (https://arxiv.org/html/2607.11977#bib.bib4)）证明ChatGPT用户在集体上会产生“一组在群体层面更同质化的想法”；而关于文体变异的研究则识别出“大多数模型趋同的文体吸引子”（Milička等人，2025 (https://arxiv.org/html/2607.11977#bib.bib30)）。

同样的优化语法，既收窄了生成语言的空间，也组织了批判性AI工作理应聚焦的更广泛政治经济：训练和推理的采掘性基础设施、监控和治理所需的可操控性、以及大学对能够总结和评估学生写作以便无人需要阅读的平台的依赖。这种逻辑在其物质操作中最为显眼，而在语言本身中最为隐蔽——在那里它被视为理所当然。不到五年时间，历史上设定语言协议的那套装置——学院和教室、语法书和用法手册、考官和编辑，整个合法语言的制度机器——已经让渡给了技术栈：损失函数、奖励模型、基准测试和系统提示。同质化是语言史上的老故事；这是它最新的伪装。旧体制，尽管有其暴力，却由可以被争辩的法官管理，而文学史在很大程度上正是成功上诉的历史：方言成为经典，语言野蛮变为风格。新体制不允许上诉，因为它无法听到上诉。优化程序可以衡量一个续接有多不可能；但它无法衡量这种不可能是否具有意义。惊讶度是token的属性，可以计算到任意精度；意义则是解释的事件，没有任何标量可以索引它。一个无法表示这种差异的体制，必须将所有剩余——无论是虚构的引用还是四角独角兽——都视为待管理的变异。

## 2 语言模型技术栈中的优化

在技术话语中，“栈”指的是软件系统的分层架构。我们使用这一术语更多地是借鉴本杰明·布拉顿而非工程师的用法：计算基础设施作为行星尺度的构造，其各层之间的相互作用方式没有任何单一层可以治理——艾伦·刘称之为“分层涌现”（Liu，2020 (https://arxiv.org/html/2607.11977#bib.bib28)，135页）。我们在此追踪的语言模型技术栈——预训练、解码、对齐、基准测试、界面——共享了这种非线性特征，但有一个决定性区别：它并未让各层保持半自治，而是将它们协调在一个共享的优化语法之下。新颖性可能仍会在分布内出现，但使它得以被认可的条件却被逐步收窄。因此，当我们谈论技术栈时，我们指的是一种社会技术配置，其中数据、算法、评估体制和界面设计凝聚成一种单一的可读性逻辑——一种治理着何物算作语言的逻辑。

审美上的窄化在行业对“安全”输出的要求中变得最为清晰可辨。在当代语言模型技术栈中，对安全性的要求同时以两种方式运作。最显眼地，它充当着护栏，过滤掉感知到的毒性、争议或法律责任。然而，它也作为一个审美保守主义项目运作：数学上“安全”的输出是不承担任何创造性或概念性风险的输出，默认采用统计上最安全、情感上最平淡的表述——我们可以称之为奖励模型韵律。⁶⁶⁶给本科生论文或自己院系的委员会报告打过分的人，即使不知道原因，也会熟悉这种韵律。误用词语、口误和混杂语域以“用户体验”的名义被纠正；隐晦或暗示性的表述被改写为直白的散文；可能被视为尖锐或令人不安的语气被悄无声息地扁平化。韵律也有其装饰：破折号和强调性三联体，二者都从散文体裁中借用过来，又以内部风格的形态回归；谄媚鼓励的节奏（“让我们深入探讨吧”）；没有思想支撑的修辞花哨（Sharma等人，2023 (https://arxiv.org/html/2607.11977#bib.bib41)）。这类人工制品只不过是在一个已经为可预测性优化过的场域上覆盖的一层薄薄的管理性点缀。毕竟，表达性本身现在也是一个可测量的目标。

其影响远不止美学，因为许多表面上的工具性任务也依赖于对最可能续接的有度偏离：重新定义问题，不寻常但有用的联系，尚未固化为套话的临时表述。通过这些累积的选择，优化文化将语言设计为供即时处理而非持续阅读之用，收窄了工具性判断和意义生成所依赖的语义模糊性二者的空间。这种保守主义不仅仅是系统提示或界面层企业谨慎的结果；它是整个技术栈深处编码的生成逻辑。