@AI_Whisper_X: LLM 模型架构的红利，已经被吃完了 读了一篇关于模型架构的文章，2020 年以来那么多 LLM 架构改动，放到同一套实验设置里，到底哪些是真的有用？ 作者 Nikita Pavlichenko（前 JetBrains Mellum 预训…

X AI KOLs Timeline 论文
llm-architecture ablation-study scaling-laws mixture-of-experts linear-attention inference-cost model-design

摘要

前 JetBrains Mellum 预训练负责人 Nikita Pavlichenko 通过 1129 次训练实验系统评估了 2020 年以来的 LLM 架构改动，指出架构红利基本被 DeepSeek-V3 那一代吃完，细粒度 MoE 和线性注意力是最扎实的进步，而 Muon 等训练方法与推理 kernel 的影响常被低估。

LLM 模型架构的红利，已经被吃完了 读了一篇关于模型架构的文章，2020 年以来那么多 LLM 架构改动，放到同一套实验设置里，到底哪些是真的有用？ 作者 Nikita Pavlichenko（前 JetBrains Mellum 预训练负责人）跑了 1129 次训练实验。他训练的是小模型，上下文和质量评测只到 16k；目标大模型的 loss 则靠 scaling law 外推。 1/ 问题不应该问“架构好不好”，真正值得关心的是，在相同推理成本下，最终能得到多好的模型。 他给每个架构相同的推理预算，服务便宜的架构就能换更大的模型。换了这把尺子，很多结论是反的：GQA、MQA、滑动窗口的每参数质量其实更差，但缩减 KV cache之后能上 4-9 倍大的模型，所以反而赢。反过来，纯比每参数智能，完整 MHA 胜过 GQA、MQA 和滑动窗口，MLA 与它持平。 推而广之，架构论文如果只报 loss per parameter，结论都得打个问号，因为它没算部署那一头的账。 2/ 过去六年，最扎实的进步是：细粒度 MoE 和线性注意力。 MoE 让一个激活参数顶 dense 模型的 4-5 个，是最容易拿到的胜利，而且随规模变好。线性注意力混合架构（KDA、Gated DeltaNet、Mamba-2）既提升质量又便宜 2-7 倍。但线性注意力的优势大部分来自它和 SWA 共有的东西，在完整的 2026 模型里只比滑动窗口好 0.3%。他猜这可能是西方开源实验室不急着上线性注意力的部分原因。 3/ 架构红利基本被 DeepSeek-V3 那一代吃完了，后面的空间明显变小了。 他把 loss 拆开看：2026 模型的预测 loss 里，只有约 2% 是参数不够造成的，架构能改进的就是这一项。2021 年的 GPT-3，这个空间是 11%。换句话说，DeepSeek-V3 那一代就已经把这块拿走了大半。 这也能解释为什么现在各家架构越来越像，为什么“前沿实验室在训最无聊的 Transformer”这种传言听起来可信。不是大家懒，是剩下的空间真的不大。 4/ 小模型上的消融结论不能直接信，缩水系数大概是 1.5 到 3 倍，有些直接翻号。 这条对所有看 nanoGPT speedrun、看 modded-nanogpt 新纪录的人都适用。他给的经验法则很实用：d=512 上帮助不到 1% 的改动，不看第二个宽度别加。embedding 乘 √d 从帮 0.73% 翻成伤 0.79%，就是活例子。 5/ 数据和训练方法，可能比继续抠架构更值得投入。 他发现，仅仅把优化器换成 Muon，收益就能抵上一整轮架构改动叠加。一般架构配好的训练方案，完全可能打赢顶级架构配普通训练方案。而且 Muon 的收益随规模增加，比多数小架构改动保持得更好。数据这块他没测，只说预计有类似量级的收益。 6/ 推理 kernel 决定架构成败的程度被低估了。 Gated DeltaNet-2 在最小的 d=512 上每参数最好，实测 -4.7%，但 vLLM 跑它只有 KDA 的 0.42 倍速度，算到等服务成本下只剩 -2.9%。MLA 这次也没进最终模型，一半是模型太小，一半是 vLLM 对小 MLA 形状跑不快；他说目标模型再大一点，MLA 很可能就进去了。架构研究和推理工程已经分不开了。 另外，他对 AI 做研究的评价：实现和调试已经很强，研究判断还不够可靠。 AI 能半小时写出他要一天才能实现的架构，却可能漏掉最明显、最值得尝试的组合。不过他觉得这块很快也会补上，就像 coding 一样。
查看原文
查看缓存全文

缓存时间: 2026/11/02 16:15

LLM 模型架构的红利，已经被吃完了

读了一篇关于模型架构的文章，2020 年以来那么多 LLM 架构改动，放到同一套实验设置里，到底哪些是真的有用？ 作者 Nikita Pavlichenko（前 JetBrains Mellum 预训练负责人）跑了 1129 次训练实验。他训练的是小模型，上下文和质量评测只到 16k；目标大模型的 loss 则靠 scaling law 外推。

1/ 问题不应该问“架构好不好”，真正值得关心的是，在相同推理成本下，最终能得到多好的模型。 他给每个架构相同的推理预算，服务便宜的架构就能换更大的模型。换了这把尺子，很多结论是反的：GQA、MQA、滑动窗口的每参数质量其实更差，但缩减 KV cache之后能上 4-9 倍大的模型，所以反而赢。反过来，纯比每参数智能，完整 MHA 胜过 GQA、MQA 和滑动窗口，MLA 与它持平。 推而广之，架构论文如果只报 loss per parameter，结论都得打个问号，因为它没算部署那一头的账。

2/ 过去六年，最扎实的进步是：细粒度 MoE 和线性注意力。 MoE 让一个激活参数顶 dense 模型的 4-5 个，是最容易拿到的胜利，而且随规模变好。线性注意力混合架构（KDA、Gated DeltaNet、Mamba-2）既提升质量又便宜 2-7 倍。但线性注意力的优势大部分来自它和 SWA 共有的东西，在完整的 2026 模型里只比滑动窗口好 0.3%。他猜这可能是西方开源实验室不急着上线性注意力的部分原因。

3/ 架构红利基本被 DeepSeek-V3 那一代吃完了，后面的空间明显变小了。 他把 loss 拆开看：2026 模型的预测 loss 里，只有约 2% 是参数不够造成的，架构能改进的就是这一项。2021 年的 GPT-3，这个空间是 11%。换句话说，DeepSeek-V3 那一代就已经把这块拿走了大半。 这也能解释为什么现在各家架构越来越像，为什么“前沿实验室在训最无聊的 Transformer”这种传言听起来可信。不是大家懒，是剩下的空间真的不大。

4/ 小模型上的消融结论不能直接信，缩水系数大概是 1.5 到 3 倍，有些直接翻号。 这条对所有看 nanoGPT speedrun、看 modded-nanogpt 新纪录的人都适用。他给的经验法则很实用：d=512 上帮助不到 1% 的改动，不看第二个宽度别加。embedding 乘 √d 从帮 0.73% 翻成伤 0.79%，就是活例子。

5/ 数据和训练方法，可能比继续抠架构更值得投入。 他发现，仅仅把优化器换成 Muon，收益就能抵上一整轮架构改动叠加。一般架构配好的训练方案，完全可能打赢顶级架构配普通训练方案。而且 Muon 的收益随规模增加，比多数小架构改动保持得更好。数据这块他没测，只说预计有类似量级的收益。

6/ 推理 kernel 决定架构成败的程度被低估了。 Gated DeltaNet-2 在最小的 d=512 上每参数最好，实测 -4.7%，但 vLLM 跑它只有 KDA 的 0.42 倍速度，算到等服务成本下只剩 -2.9%。MLA 这次也没进最终模型，一半是模型太小，一半是 vLLM 对小 MLA 形状跑不快；他说目标模型再大一点，MLA 很可能就进去了。架构研究和推理工程已经分不开了。

另外，他对 AI 做研究的评价：实现和调试已经很强，研究判断还不够可靠。 AI 能半小时写出他要一天才能实现的架构，却可能漏掉最明显、最值得尝试的组合。不过他觉得这块很快也会补上，就像 coding 一样。

Nikita Pavlichenko (@nv_pavlichenko): Finally releasing the results of the arch ablations I was running with bux over the weekend

相似文章

@wangxiaoxin88: 想把LLM推理啃透，这套东西真该盯死了看。 有老哥整了一份LLM工程师实战手册time-to-first-token，每天抽半小时，磨10周，一共50堂课，从零搭起一套能上生产的完整技术栈： 先立认知模型，搞懂Decode为啥撑爆显存、P…

X AI KOLs Timeline

一份名为 time-to-first-token 的开源 LLM 工程师实战手册，以 10 周、50 堂课的路线图，从零构建可上生产的 OpenAI 兼容推理服务，涵盖 vLLM 源码、PagedAttention、监控、1000+ 并发压测与量化优化。

@Phoenixyin13: 认真读完了OpenAI 研究员 Noam Brown 今天的长帖，一个被行业严重低估的现实。 LLM 的真实能力天花板，远高于当前任何 benchmark 所显示的水平。 原因，是给它的test-time compute太少了。而随着模型…

X AI KOLs Timeline

解读 OpenAI 研究员 Noam Brown 的观点：LLM 的真实能力天花板远高于当前基准测试显示的水平，因为 test-time compute 投入不足，而更强的模型从额外计算中获益更大。这对 AI 安全评估提出了严峻挑战，因为许多危险能力可能只在长时间、高计算预算下才显现。

@Potatoloogs: LLM 内部究竟怎么运作：从 token 到 next-token，九个核心机制完整梳理 a）Tokenization：模型读的不是文字，是整数 · 文本先被切成 subword 片段，再映射成整数 ID；现代 LLM 词表通常有数万到数…

X AI KOLs Timeline

本文从 tokenization 到 next-token 预测，系统梳理了现代 LLM 内部的九个核心机制，包括 tokenization、embedding、位置编码、注意力、多头注意力、前馈网络等，并比较了不同模型的架构差异。