从BERT到前沿智能体：语言模型八年的进步、能力-成本曲线的崩塌，以及任务专用模型的崛起

# 语言模型八年进展、能力-成本曲线崩塌与任务特化模型的兴起  
一项基于可复现实证测量的研究回顾，2018–2026  
来源：https://arxiv.org/html/2608.13675  
2026年8月  

###### 摘要

2018年10月至2026年7月间，语言模型从BERT（一个仅能勉强生成文本的3.4亿参数编码器）发展至能解决国际数学奥林匹克问题、修复软件代码库、操作桌面计算机的万亿参数智能体系统。我们通过公开基准测试、价格数据与可复现实验追溯了这一进程并量化其实际影响。对SWE-bench Verified的分析表明，自2024年10月以来，解决真实GitHub问题的概率年化增长约5.8倍。同期能力-成本曲线急剧崩塌：OpenAI经济型套餐GPT-5.6 Luna（输入/输出价格为1/6美元/百万token）在大多数智能体与专业工作基准测试中达到甚至超越十一周前发布的旗舰模型GPT-5.5，而token成本仅为后者的五分之一。在我们的独立测试框架重构中，其SWE-bench Verified得分较2025年8月的GPT-5高约18分。任务级结果显示前沿模型呈现碎片化特征：Claude Opus 5领跑人类偏好的前端编码，Claude Fable 5在代码库级编码中领先，GPT-5.6 Sol主导智能体终端任务，而Opus 5将ARC-AGI-3纪录提升了三倍。在我们的对比测试套件中，两模型路由器能实现六模型神谕方案的完整基准增益。我们还运行了可追溯的小学数学实验：在16项开发集上锁定提示词、温度、模型规模与选择策略后，我们固定Qwen2.5-1.5B配置并在100个独立评估项上进行单次评估。贪心解码成功解决58/100题；四样本多数投票与预设验证器均达到62/100（配对精确McNemar检验p=0.481），而多样本神谕方案达到79/100。事后置信度模型以五折交叉验证ROC AUC 0.833和Brier评分0.147对四次投票结果进行排序（基准频率模型评分为0.236）。其置信度最高的50个预测中包含47个正确答案，这表明其具有有效的分流信号价值而非全新的全覆盖精度提升。代码库包含全部数据、代码、完整轨迹、测试脚本与编译指令。

关键词：大语言模型；评估；规模化；推理经济学；任务特化；自洽性；置信度估计；模型路由

###### 目录

1. [引言](https://arxiv.org/html/2608.13675#S1)
2. [四个范式的八年演进](https://arxiv.org/html/2608.13675#S2)
   2.1 [编码器时代：BERT与微调范式（2018–2019）](https://arxiv.org/html/2608.13675#S2.SS1)
   2.2 [规模化与上下文学习：GPT-3（2020–2021）](https://arxiv.org/html/2608.13675#S2.SS2)
   2.3 [对齐与指令遵循（2022–2023）](https://arxiv.org/html/2608.13675#S2.SS3)
   2.4 [推理与智能体（2024–2026）](https://arxiv.org/html/2608.13675#S2.SS4)
3. [数据与方法](https://arxiv.org/html/2608.13675#S3)
   3.1 [数据](https://arxiv.org/html/2608.13675#S3.SS1)
   3.2 [分析方法](https://arxiv.org/html/2608.13675#S3.SS2)
4. [结果](https://arxiv.org/html/2608.13675#S4)
   4.1 [能力增长：三个基准测试时代](https://arxiv.org/html/2608.13675#S4.SS1)
   4.2 [能力-成本曲线的崩塌](https://arxiv.org/html/2608.13675#S4.SS2)
   4.3 [任务维度下的前沿碎片化](https://arxiv.org/html/2608.13675#S4.SS3)
5. [固定模型的推理时优化](https://arxiv.org/html/2608.13675#S5)
   5.1 [采样与聚合](https://arxiv.org/html/2608.13675#S5.SS1)
   5.2 [基于置信度估计的选择性使用](https://arxiv.org/html/2608.13675#S5.SS2)
   5.3 [根据工作负载匹配推理强度](https://arxiv.org/html/2608.13675#S5.SS3)
   5.4 [跨专业模型的任务路由](https://arxiv.org/html/2608.13675#S5.SS4)
   5.5 [模型构建者的报告优先级](https://arxiv.org/html/2608.13675#S5.SS5)
6. [讨论：模型如何精通特定任务](https://arxiv.org/html/2608.13675#S6)
7. [结论](https://arxiv.org/html/2608.13675#S7)
8. [参考文献](https://arxiv.org/html/2608.13675#bib)

## 1 引言

2018年10月，Google发布了BERT——一种双向Transformer编码器，在十一个自然语言理解任务上达到当时最佳水平，并将GLUE基准测试成绩推至80.5%[1](https://arxiv.org/html/2608.13675#bib.bib1)。BERT无法撰写连贯段落；它是一个*阅读*模型，需针对具体任务微调。2026年7月，Anthropic发布Claude Opus 5，并在其赛后无工具评分协议下报告了2026年国际数学奥林匹克问题的42/42成绩；ARC Prize独立测量显示其在ARC-AGI-3基准上实现了约四倍的飞跃[2](https://arxiv.org/html/2608.13675#bib.bib17),[4](https://arxiv.org/html/2608.13675#bib.bib21)。在这两次发布之间，该领域的主流范式经历了至少四次变革：从任务特定微调，到大型预训练解码器的小样本提示，再到指令微调与人类反馈对齐，最后发展为推理模型与工具使用智能体。

我们提出三个相互关联的问题：该领域如何从BERT演进至2026年的GPT-5.6、Claude Fable 5、Claude Opus 5、Kimi K3等前沿模型？基于公开基准测试和价格系列数据（而非主观印象）衡量，能力与成本效率的提升速度有多快？通过精细管理推理计算、校准推理强度、估计置信度以及跨模型路由任务，实践者能从固定模型权重中获得多少额外性能？

#### 贡献：

1. [第2节](https://arxiv.org/html/2608.13675#S2)与[表1](https://arxiv.org/html/2608.13675#S2.T1)：基于三个基准测试时代构建了2018–2026年语言模型能力的完整溯源时间线。
2. [第4.1节](https://arxiv.org/html/2608.13675#S4.SS1)：趋势拟合显示SWE-bench Verified任务的解决概率年化增长约5.8倍，同时MMLU等知识基准测试已趋于饱和。
3. [第4.2节](https://arxiv.org/html/2608.13675#S4.SS2)：成本分析表明输入token价格从GPT-3（2020）至GPT-5.6 Luna（2026）下降约60倍，并论证当今经济套餐在多数智能体/专业基准测试中已匹配一季度前的旗舰模型。
4. [第4.3节](https://arxiv.org/html/2608.13675#S4.SS3)：证据表明2026年前沿模型呈现任务碎片化特征，而简单的模型路由可恢复单任务最优性能。
5. [第5节](https://arxiv.org/html/2608.13675#S5)：对小型开源模型自洽性的锁定开发/评估研究，以及后续用于预测排序分流的探索性置信度模型。完整轨迹、配对不确定性及推理强度分析报告与结果同步发布。

## 2 四个范式的八年演进

### 2.1 编码器时代：BERT与微调范式（2018–2019）

BERT[1](https://arxiv.org/html/2608.13675#bib.bib1)确立了"预训练-微调"范式：在无标注文本上进行掩码语言模型预训练，随后添加小型任务特定头。RoBERTa[15](https://arxiv.org/html/2608.13675#bib.bib3)证明该范式是训练不充分而非错误，通过更多数据与更长训练在GLUE上达到88.5分；T5[24](https://arxiv.org/html/2608.13675#bib.bib4)将所有任务统一为文本到文本格式，在SuperGLUE上达到90.3分。GPT-2[23](https://arxiv.org/html/2608.13675#bib.bib2)证明在足够网页文本上训练的自回归解码器无需微调即可习得任务，但其零样本质量尚未具备竞争力。该时代的特征是：能力存在于任务特定头中，基准测试（GLUE、SuperGLUE、SQuAD）在发布后约两年内迅速饱和。

### 2.2 规模化与上下文学习：GPT-3（2020–2021）

GPT-3[8](https://arxiv.org/html/2608.13675#bib.bib5)将解码器范式扩展至1750亿参数，证明在上下文中提供少量示例（小样本提示）可在许多任务上替代梯度更新。其43.9%的五样本MMLU[13](https://arxiv.org/html/2608.13675#bib.bib6)成绩在今天看来并不突出，但概念性转变是永久性的：能力可从冻结的通用模型中被*激发*。局限同样明显：GPT-3小样本在SuperGLUE上得分71.8，远低于微调系统，且未对齐的输出不可靠。

### 2.3 对齐与指令遵循（2022–2023）

InstructGPT[22](https://arxiv.org/html/2608.13675#bib.bib7)应用基于人类反馈的强化学习（RLHF）使模型遵循指令；ChatGPT（2022年11月）将此技术推向通用用户。GPT-4（2023年3月）在MMLU[19](https://arxiv.org/html/2608.13675#bib.bib8)上跃升至86.4%，接近预估的人类专家水平，并确立了能力报告与模型发布并行的现代模式。Meta的Llama系列开放权重并构建了开源生态；Claude与Gemini确立了多厂商前沿。

### 2.4 推理与智能体（2024–2026）

测试时计算改变了规模化目标。OpenAI的o1（2024年12月）表明更长的训练推理链与额外推理token可提升数学和编程性能；其91.8%的MMLU成绩有效饱和了该基准测试[7](https://arxiv.org/html/2608.13675#bib.bib28)。智能体能力随后改变了任务形态。SWE-bench Verified[14](https://arxiv.org/html/2608.13675#bib.bib9),[20](https://arxiv.org/html/2608.13675#bib.bib10)将"解决真实GitHub问题"确立为标准硬问题。在独立测试框架中的得分从2024年10月Claude 3.5 Sonnet的49%攀升至2026年7月Claude Opus 5的97%[28](https://arxiv.org/html/2608.13675#bib.bib23)。至2026年中期，主要发布版本——Claude Fable 5（7月1日）、GPT-5.6 Sol/Terra/Luna（7月9日）、Kimi K3（7月16日）、Claude Opus 5（7月24日）——主要针对智能体、长周期及经济加权任务进行评估，而非静态问答[1](https://arxiv.org/html/2608.13675#bib.bib15),[21](https://arxiv.org/html/2608.13675#bib.bib14),[18](https://arxiv.org/html/2608.13675#bib.bib18),[3](https://arxiv.org/html/2608.13675#bib.bib16)。Kimi K3更标志着开源与闭源差距的近乎闭合：这个2.8万亿参数的开源混合专家模型与最优秀的专有系统具有竞争力[18](https://arxiv.org/html/2608.13675#bib.bib18)。

[表1](https://arxiv.org/html/2608.13675#S2.T1)总结了这一发展脉络，[图2](https://arxiv.org/html/2608.13675#S4.F2)展示了智能体基准测试系列当前的终点。

**表1：重要里程碑（2018–2026）。分数为引用来源原始报告值；标注了基准测试变体。**

## 3 数据与方法

### 3.1 数据

代码库包含三个分析表、锁定评估集及复现所有报告结果所需的完整轨迹。

#### D1：时间线数据。

27行（模型、基准测试、分数、日期、来源）数据，覆盖2018–2026年，源自原始论文与排行榜镜像（[表1](https://arxiv.org/html/2608.13675#S2.T1)；完整文件`data/models_timeline.csv`）。当存在多个评估变体时，我们明确记录变体类型（如厂商报告值与独立测试的SWE-bench Verified）。

#### D2：2026年前沿模型矩阵。

包含2026年7月前沿模型——GPT-5.6 Sol/Terra/Luna、Claude Fable 5、Claude Opus 5、Kimi K3，以及2026年4月发布的旗舰模型GPT-5.5和Claude Opus 4.8——的逐模型基准测试分数与API价格。数据来源包括OpenAI的GPT-5.6发布表[21](https://arxiv.org/html/2608.13675#bib.bib14)、Anthropic的Opus 5发布文档[3](https://arxiv.org/html/2608.13675#bib.bib16),[2](https://arxiv.org/html/2608.13675#bib.bib17)、Artificial Analysis[6](https://arxiv.org/html/2608.13675#bib.bib24),[31](https://arxiv.org/html/2608.13675#bib.bib25)、Vals AI独立SWE-bench Verified测试框架[28](https://arxiv.org/html/2608.13675#bib.bib23)以及arena.ai的人类偏好前端编码竞技场[5](https://arxiv.org/html/2608.13675#bib.bib19)。

#### D3：价格数据。

2020–2026年代表性API模型的输入/输出每百万token价格，尽可能使用厂商文档[10](https://arxiv.org/html/2608.13675#bib.bib27),[21](https://arxiv.org/html/2608.13675#bib.bib14)。

#### D4：实时评估项目。

已提交的GSM8K官方测试集包含1,319个问答对[9](https://arxiv.org/html/2608.13675#bib.bib12)。我们保留原始16个试点标识符作为锁定开发集，并从剩余行中随机抽样100个评估标识符（`random_state=20260810`），在v1调优前完成。分层清单记录了标识符列表与源文件parquet的SHA-256摘要。

#### 溯源说明：

2026年中期的数据混合了厂商报告与独立评估。我们在关键位置标注数据来源，当两种来源并存时优先采用第三方测量（Vals AI、Artificial Analysis、ARC Prize）。厂商发布数字属于声明而非独立结果；我们按此处理，并在厂商与第三方测试框架存在差异时加以注明。

**图1：可复现架构。公共证据支持确定性趋势、成本与路由分析。实时评估记录完整轨迹与配对统计；探索性置信度分析消耗这些版本化轨迹。每条路径均产生可审计的论文输出。**

### 3.2 分析方法

#### 趋势拟合：

对SWE-bench Verified序列，我们针对任务解决*概率*的logit变换（logit(p)）与发布日期进行对数线性拟合，报告该概率的隐含年化乘法增长及拟合R²（[图2](https://arxiv.org/html/2608.13675#S4.F2)）。对MMLU，我们将原始序列与预估的人类专家水平89.8%[13](https://arxiv.org/html/2608.13675#bib.bib6)进行对比。

#### 帕累托分析：

使用Artificial Analysis提供的GPT-5.6系列全强度数据集（包含智能指数分数与逐任务成本的15个模型×强度设置[31](https://arxiv.org/html/2608.13675#bib.bib25),[6](https://arxiv.org/html/2608.13675#bib.bib24)），我们计算成本-能力帕累托前沿并识别被支配的设置。

#### 路由器基准测试：

在OpenAI的GPT-5.6发布表所报告的14个基准测试中（涵盖Sol、Terra、Luna、GPT-5.5、Fable 5和Opus 4.8全部六款模型），我们将每个基准测试归一化至最佳模型（100分），然后比较：(i)最佳单一模型的平均表现，(ii)为每个基准测试选择最优模型的神谕方案，以及(iii)受限路由器（含一分差距内的最经济路由器与两模型路由器）。

#### 实时实验：

[第5.1节](https://arxiv.org/html/2608.13675#S5.SS1)描述了一个受控的开发/评估流程。在开发数据上，我们使用Qwen2.5-0.5B-Instruct在0.4和0.7温度下测试三种提示（官方简洁聊天模板、四样本提示、解题与验证提示），在全部16个项目上确认领先的四样本/0.4设置，并将其与Qwen2.5-1.5B-Instruct对比。主要选择器为四样本多数投票；预设贪心验证器作为次要选择器。评估前，清单冻结了Qwen2.5-1.5B-Instruct、含四个示例的官方聊天模板、k=4、温度0.4、top-p=0.95、种子1234及多数投票选择器配置。随后我们在全部100个独立评估项上运行该配置一次。每条记录存储贪心补全结果、四个采样补全结果...