@tatsu_hashimoto：我正在发布一系列来自 Stanford CS312（Deep Learning Alchemy）考试的预测题，用来测试深度学习直觉……

X AI KOLs Timeline 新闻
deep-learning optimization education transformers scaling-laws hyperparameters

摘要

一位 Stanford CS312（Deep Learning Alchemy）的讲师发布了考试风格的预测题，考察深度学习直觉：在用 AdamW 训练的 Transformer 中，批量大小增加 8 倍后，能否通过调整学习率或权重衰减来补偿？

我正在发布一系列来自 Stanford CS312（Deep Learning Alchemy）考试的预测题，用来测试深度学习直觉。 首先是优化相关的问题：如果我们把一个 LM 的批量大小增加 8 倍（token 预算不变），能否通过重新缩放学习率或权重衰减来补偿？在下面试试 ↓ 这个小测验是我们优化器超参数作业和单元的一部分，由 @wen_kaiyue 设计。 设置：我们用 AdamW 训练一个 8 层、约 3500 万参数的 Transformer，训练数据为 614.4M tokens。在批量大小为 64 时，最佳参考运行的峰值学习率（LR）为 0.003，权重衰减（WD）为 0.2，最终验证损失为 2.9178。 现在把批量大小从 64 增加到 512，优化步数减少到原来的 1/8。除以下改动外，其他一切保持不变。 哪种方案能获得最低的最终验证损失？ A. 保持 LR 和 WD 不变 B. LR ×√8 C. LR ×8 D. WD ×8 E. LR ×√8 且 WD ×√8 你会怎么预测，为什么？
查看原文
查看缓存全文

缓存时间: 2026/10/30 21:20

我正在发布一系列来自Stanford CS312（Deep Learning Alchemy）考试的预测题目，用来测试深度学习直觉。

第一个主题：优化。如果我们把语言模型的批量大小增加8倍（token预算不变），能否通过调整学习率或权重衰减来补偿？试试看 ↓

本测验属于我们的优化器超参数作业单元，由@wen_kaiyue设计。

实验设置： 我们使用AdamW训练一个8层、约3500万参数的Transformer，训练数据为6.144亿token。在批量大小为64时，最佳参考运行的峰值学习率为0.003，权重衰减（WD）为0.2，最终验证损失为2.9178。

现在把批量大小从64增加到512，优化器步数减少到原来的1/8。其余设置均保持不变，仅做以下调整。

哪种方案能获得最低的最终验证损失？

A. 学习率和权重衰减均保持不变

B. 学习率 ×√8

C. 学习率 ×8

D. 权重衰减 ×8

E. 学习率 ×√8 且权重衰减 ×√8

你会如何预测，为什么？

相似文章

@srush_nlp：我一直对 DL Alchemy 课程（https://deep-learning-alchemy.github.io）非常着迷。决定将……

X AI KOLs Timeline

斯坦福大学的 CS 312“深度学习炼金术”课程将构建理论的重担交给学生（以及他们的 Claude 助手），让他们在一个用 6.14 亿个 token 训练的 8 层 Transformer 上开展消融实验，以实证方式探究 Transformer 的各个组件——这引发了一个反思：也许死记硬背的机器学习知识从来就没那么重要。