不可驯服

2026年中的AI投资版精神病态，是一种绝望：没有任何东西值得投资，我们应该把所有钱都投进Anthropic和Nvidia然后回家。我从未有过这种感觉。从几个子版本之前我就确信模型比我聪明，我愿意按市场价格成为Anthropic和Nvidia的快乐买家，而我所有最聪明的朋友都相当确信自我改进很快就能奏效——而我仍然没有这种感觉。这种绝望并不愚蠢。逻辑是这样的：如果模型在所有事情上都持续变得更好，那么任何建立在模型之上的公司都只是一个等待被吸收的薄包装，唯一能存续的价值就是算力和前沿权重。

以软件为例，这是绝望最倚重的案例。Devin在2024年发布时解决了标准软件基准测试中13%的任务，并基本上被忽视。一年半后，最好的智能体达到了百分之八十多，它们正在高盛和美国军队内部从事实际工作。几乎每个人都得到了同样错误的教训：模型吞噬了软件工程。但随着模型吞噬了软件工程中那些最可衡量的部分，我们重新学到了许多团队早就知道的东西——工程一直抗拒衡量，而最可衡量的部分可能并非唯一重要的部分。

Mert Demirer和MIT的合作者最终用数据量化了这一点：在超过10万名开发者中，最新的编程智能体使编写的代码量增加了大约180%，而实际交付的代码量只增加了约30%。写作变得廉价。其余部分仍然需要经过人，而这一点至关重要。净影响当然仍然惊人。

基准测试是可衡量的东西，可衡量的东西就是可以针对其训练的东西。因此，编程智能体最先成熟：编译器是免费的验证器，测试套件是免费的验证器，当答案可以自动检查时，你就可以针对这个检查反复磨合，直到打败它。但通过测试从未告诉你，对于一个有着三个未记录原因存在的模块和一个由没人愿意承认编写的cron job拼凑起来的部署管线，这十年历史的代码库，这个改动是否正确。

那种正确性无法从排行榜上读出来，实际上也无法从任何东西上读出来。你只能通过让一个足够复杂的系统在现实世界中运行足够长的时间来学习，从而发现它是否有效，而一个更聪明的模型并不会让世界运行得更快。没有人对像Google这样规模的东西进行单元测试，然后相信绿色的勾号；你相信它，是因为它经受住了多年的真实负载。那样的正确性不仅是私有的，而且是资本无法瓦解的缓慢护城河。即使是乐观主义者也承认，时间是无法跳过的：Noam Brown，OpenAI推理模型的先驱，最近写道，评估一个智能体一年后表现唯一可靠的方法可能就是……让它跑一年。

正如Gabe Pereyra所说，真正的自动化不仅仅是模型的改进。它是产品、模型、工作流程和公司共同前进，而其中三个（产品、工作流程、公司）以组织的速度移动。调动人员是任何基准测试都无法触及的部分：让一个持怀疑态度的合伙人改变她的做事方式，在重建过程中维持一个团队的团结。这就是为什么当我们招聘CEO时，处理人际关系的能力至少与分析能力同样重要，而一个更聪明的模型并不会改变这种权重。反馈是模糊的，视野是数年的，信任属于一个人。我认识的每家公司都让每个工程师使用前沿编码模型，但没有一家以接近那种速度改变其工程组织。采用花了一个季度，那是多么神奇的代币增长季度啊！但重建需要数年。

可读的是正在离开的东西。有价值的工作本质上是不可读的：任何你能放到排行榜上的东西，你都能针对其训练，所以任何可衡量的东西都已经在商品化的路上。这个过程需要时间，永远不会完全彻底，但方向永远不会逆转。用我朋友Rippling的Matt MacInnis的方式来说，用货币术语表示：一个用于回答一般性问题的代币几乎一文不值，因为任何人的模型都能回答它，而一个用于推理你公司数据的代币价值要高得多，因为它做了你真正想做的事，而不仅仅是看似合理的事。

可读的工作受到两个方向的夹击。从下方来看，任务会饱和：一旦一项工作可以廉价地检查，买家就不再问是哪个模型做的，而开始问成本是多少，工作就会落到那个月最便宜的任何开放或蒸馏模型上。在它们能产生影响的地方，利润率最终都会起作用。从上方来看，实验室正试图让模型吞噬自己的脚手架。检索、廉价与昂贵调用之间的路由、工具使用，甚至推理策略，所有曾经包裹模型的外围设备都被拉入权重中，直到包装器本身就是模型。这就是吸收前沿。利润率压力也从另一个方向起作用：一个通用智能体必须准备好应对任何情况，这很昂贵，而一个专注的应用可以调整一个工作流程，直到它只消耗一小部分代币，与销售那些代币的实验室不同，它保留了差价。

因此，我们可以对任何类型的工作提出两个要求。它的正确性是私有的且建立成本高昂吗？是那种只存在于某人数据内部的真相吗？它被围起来，锁在一个你无法进入的系统里吗？将这些与任务的饱和程度放在一起，你就能得到一个2x2矩阵。饱和的、具有公开答案的工作是商品化代币，开源模型拥有它。前沿的、具有公开答案的工作，比如编码基准测试所在的地方，是实验室获胜的地方，因为当评估免费时，拥有它毫无意义。奖品是最后一个角落，即不可驯服的角落：其正确性只存在于私有的前沿工作。你可以在托管AI原生先驱的推理云中看到这一点，那里的绝大多数代币是由定制模型生成的，而不是通用的开源模型。

通往那个最后角落的墙高度各异。一个单一开发者的玩具代码库是可移植且标准化的，所以攀登起来很短。一家银行的生产系统既不是这样，你也不会因为在SWE-Bench Verified上聪明2%就获得root权限。

能力吞噬很多东西，但一个更好的模型并不会使私有的基本事实变成公开的。它不持有许可证、不负责任何责任、不拥有公司的文件，而且当答案错误时，它不能成为被起诉的一方。这里，智能不是瓶颈。许可才是，问责制也是。你可以想象一个远比任何人都聪明的模型，但它仍然需要被允许进门，而仍然有人必须为它的所作所为署名。

那扇门有一把锁和一个插销。锁是环境：你只有被信任进入系统后，才能验证AI是否做了一些有用的事，这是在进行安全审查、集成、以及以你的名义对结果负责的合同之后。插销是用户。现在大多数美国医生每天都会打开OpenEvidence，再多的算力也买不到这一点。一个实验室明天就可以训练出一个完美的医疗模型，但仍然无法进入医生的习惯流程，也无法进入UCSF的决策流，因为信任是缓慢建立的，基于关系，凭用户的默许，而不是消除它们的梯度下降。

这也是工作本身。一个应用通过做不起眼的工作在不可驯服的角落里赢得一席之地：安排公司的私有现实以便模型能够对其采取行动，为模型提供行动工具，与客户合作改变其劳动力的现实。一个提供这种翻译的公司很难被复制——而翻译永远不会结束。集成和维护持续与关系一样长的时间，由那些将领域专业工程师和工具放在客户身边的团队赢得。

举一个例子，在一家顶级白鞋律师事务所，仅并购业务每年就运行近一千笔交易。你不能让数百名律师助理各自将客户文件下载到桌面，然后让一个通用智能体去处理它们，原因包括保密性和其他十几个方面，即使你能这么做，你得到的也只是碎片，一次一个律师助理的修正，看不到整个交易流程的全貌。重要的信号存在于交易层面，而交易是有形状的：并购中有保密协议、条款清单、尽职调查、购买协议、附属文件、交割清单；知识产权诉讼中有动议、证据开示、现有技术、更多动议。每个业务领域都有自己的形状，律师和工具都不能跨领域互换。而事务所实际在解决的问题位于所有这些之上：并行运行每个业务领域，就像一位顶级合伙人同时处理数百个案子，同时还要引入新案子并培训律师助理。像那样转型一家事务所不是一个你可以为其编写评估的单一任务。这需要一位运营商去用数据化方法运作它，目标极其模糊，反馈不完整，时间跨度很长，环境也不会静止不动。

不可读的价值不幸也难以销售，原因和它难以商品化一样：一家公司从外部无法比基准测试更好地判断AI是否会改变其运营。所以最强的企业停止尝试在外部证明它，而是进入内部，转而根据结果定价。Sierra在其智能体解决客户问题时收费，而在问题转给人工时不收费，所以价格本身就变成了评估，而这之所以有效，只是因为Sierra拥有对“已解决”的定义权。Cognition的Devin在软件领域也做了同样的动作，提供“性能保证”，你只能在一个你被信任进入的系统里对结果做出这种保证。

即使是服务代币这一层，这个大家都爱称之为纯粹商品的东西，行为方式也不像商品。最好的AI原生公司将其服务集中在一两家提供商（Baseten或Fireworks）上，因为每个代币的成本按期商品化，而真实流量下的可靠性以及对稀缺算力的保证访问则不会。你在哪里提供服务是一个不同于使用哪个模型的决策。价格只是推理中行为像商品的部分。

一个经常提出的反对意见是，实验室是你的供应商——为什么它不亏本运行自己的第一方产品来挤垮你，或者撤销你的API访问权限自己占领市场？这就是绝望的真正版本，而这只有在模型层是单人游戏时才成立。显然不是——它看起来更像一场三又二分之一方的死亡竞赛，还有一批国际玩家落后六个月的训练，而发展联盟规模是去年的五倍。客户希望供应商之间有竞争，而实验室更看重市场份额，而不是非要弄死某个应用。

你可以在实验室直接竞争的市场中看到这一点。在消费者聊天领域，最好的模型从未简单获胜。ChatGPT在多年的真实竞争中保持了领先，而它现在失去的市场份额正流向Gemini，凭借的是Android和搜索的力量，而不是更好的模型。Anthropic，目前预测市场（和网络氛围）认为拥有最佳模型的实验室，在消费者聊天领域几乎不是一个因素，而是将业务建立在企业和编码上。如果一个更好的模型无法在最核心的应用中抢走竞争对手的用户，它也不可能通过集成渗透进医院的记录或银行的负债。公众的选择不仅仅基于当前的编码能力。如果前沿仍然拥挤，那么上层将是宝贵的。

如果工作无法从外部评分，那么内部有人必须决定什么样的答案才是好答案，而这个决定就是整个游戏。足够多的这类决定，记录下来，就变成了一个基准测试。Harvey为法律发布了一个，Sierra为语音智能体发布了一个。你通过成为某个领域已经在使用的那个东西，来赢得定义什么是好的权利，而这些公司通过真实的采用斗争赢得了这一点。

决定真实金钱的评估是私有的、按公司定制的：这家公司，在处理这类事务时，会接受什么样的好工作，而这远未完成，因为法律的深度远超任何公开测试。OpenEvidence正在确定一个安全的临床答案看起来是什么样子。这些都不是真正的测量，而是关于什么是真、什么是好的判断，被写下来直到成为衡量其他人的标准，而基础实验室无论变得多聪明都无法制定它，因为这种地位只存在于该领域内部。这种权威往往落回它已经存在的地方。高级律师撰写法律基准。定义安全临床答案的任务落到医生身上。而“已解决”意味着任何已经拥有客户的公司说了算。

吸收前沿在持续上升，因为我们不断学会衡量更多的工作，而可衡量的东西会被吞噬。不可驯服的地面在站在上面的人脚下不断缩小，所以你无法找到一个防御性的位置然后休息。你必须不断迈向任何尚未能被评分的东西，并持续重新评估。在一个狭窄的任务上，利用你的私有数据和自己的评估，你可以训练到前沿水平，在关键地方击败通用模型，而这个专业化的模型本身就成了护城河的一部分。另一方面，在通用模型上竞争是一场资本战争，你会输给拥有最多算力的人，这也是一个拥有浅层接入和可读任务的公司会落入的陷阱。当它为了生存而承诺在广泛的一般任务上超越前沿时，胜利者似乎主要由数据中心大小决定，而结局通常不是一个独立的冠军，而是卖给某个算力富有的实体。

所有这些都只是防御。更难的是进攻，即一开始就选择要构建什么。这就是我花了一年时间寻找的东西，而我大约只找到了三次。模型在这方面帮不上忙。它会做你指向的任何事情，但无法告诉你什么值得指向，而你无法对此进行基准测试，所以也就无法训练它。这也是现有企业未能拿走一切的原因：它们保住了已有的地盘，而下一个东西来自某个在其他人之前找到用途的人。也许意图甚至比算力更稀缺。

绝望说对了一半。薄包装层确实正在被吸收，而今天很多看起来像公司的东西就是薄包装。它错在剩下的部分。机制是清晰的；目的地则不然。我愿意押注的方向是：智能持续变得廉价，而价值持续滑向模型无法触及的少数地方。不可驯服就是有价值的历史。所以，进入一个这样的地方，做那些不起眼的翻译工作，并开始写下那里什么是好的定义，因为总会有人这么做。这一年中被引用最多的基准测试分数，是一幅即将变得毫无价值的领域地图，也是一份通知，关于谁即将失去定义什么是好的权利。

也可在Substack上阅读。