Ryan Peterman (@ryanlpeterman) on X

Vlad Feinberg (@FeinbergVlad) is Google DeepMind’s pre-training area lead and I asked him all about how to land a job at a frontier lab like Google DeepMind, Anthropic or OpenAI.

In this episode:

• Skills frontier labs need • Differences between software engineering and AI research • Domains that matter for frontier research • Concrete steps engineers can take to get closer to research • Jeff Dean spot bonus story

Where to watch:

• YouTube - https://youtu.be/cDyi91onoJ8 • Spotify - https://open.spotify.com/episode/5XgGwEsWKDKmXsXErgCf74?si=GorGk0nzQFqBnBFq7UM7KQ… • Apple Podcasts - https://podcasts.apple.com/us/podcast/the-peterman-pod/id1777363835… • Transcript - https://developing.dev/p/google-deepmind-pre-training-lead…

Thank you to the sponsor of this episode for supporting my work:

• WorkOS: makes your app Enterprise Ready with easy to use APIs to add SSO, SCIM, RBAC, and more in just a few lines of code, check them out at https://workos.com

Chapters:

00:00 - Intro 00:33 - Skills frontier labs need 08:45 - The difference between AI research and engineering 21:41 - Domains that matter for the frontier 30:50 - Marketing yourself to frontier labs 35:13 - Concrete steps engineers can take 38:29 - Overview of pre-training areas 47:23 - Jeff Dean spot bonus story 50:14 - Favorite Gemini war story 58:59 - Advice for his younger self 01:03:07 - Outro

TL;DR

Google DeepMind 预训练负责人 Vlad Feinberg 详解在顶尖 AI 实验室找工作的核心技能：底层工程（内核开发加速 LLM）、研究品味（处理随机性中的决策）以及对缩放定律的深刻理解。

实验室最渴求的技能：内核开发与底层工程

Vlad 指出，目前顶尖实验室最普遍且旺盛的需求是 内核开发和底层工程，目标是实际加速 LLM 的运行。
无论是在架构创新、优化推理服务（如改进 KV 缓存），还是跨越整个技术栈的改动，最终都需要以高吞吐量、低延迟的方式交付可运行的软件。这与经典后端工程思维紧密相关，是一个非常适合深耕的开放领域。

研究 vs. 应用：并非泾渭分明

针对 DeepMind 内部的分工，Vlad 解释虽然存在预训练、后训练等纯研究团队（负责制作前沿模型配方并确保训练稳定），以及围绕 Gemini 的产品应用团队（如优化搜索结果），但二者无法完全切割。
例如，在提升 LLM 事实准确性、评估来源时，同样包含大量硬核研究工作。他提出一个 “研究-应用光谱”——当今的 AI 从业者必须能够在该光谱上灵活移动。

软件工程 vs. AI 研究者：关键差异

Vlad 以蒸馏技术为例说明底层工程的重要性：
蒸馏涉及从万亿 token 规模的巨型 LLM 中提取统计信息，并传递给学生模型。为了高效处理这种数百万美元级别的计算投入，团队经历了三到四代蒸馏基础设施的重构，每次花四个月重新思考系统设计（抽象、存储、跨数据中心读写）。正是这些“经典软件工程”投资，才带来对蒸馏缩放定律的新理解和像 Flash 3.0 这样的成果。

那么，一个纯后端工程师直接转到研究团队会面临哪些困难？

1. 缺乏文献背景：不熟悉领域已有的前沿工作，无法有效追溯高价值论文。
2. 思维模式不同：软件工程的任务依赖图（DAG）是确定性的（修服务 A → 修服务 B → 单调进展）；而研究 DAG 是随机的，某些节点可能成功也可能失败，需要探索。
3. 无法提前“设计”最短路径：你需要培养研究品味——一种凭直觉估算某个方法成功率与时间投入的能力。

研究品味 = 正确遍历随机 MDP

Vlad 引用 Jacob Steinhart 的框架：研究即马尔可夫决策过程（MDP）。

• 研究项目中的里程碑构成随机依赖图，成功节点会开辟新可能性。
• 软件工程可以写出所有路径并选最短；但研究需要事先估计不同想法的“成功率”和“时间投入”，然后决定下一步。
• 这种“尚未开始就能判断概率”的能力，正是人们常说的研究品味，也是读博过程中培养的核心技能。

缩放定律：LLM 研究的基石

针对预训练，Vlad 强调理解缩放定律至关重要。

• 关键不是函数形式（幂律、指数），而是能够预测特定扩展方案下的测试损失。
• 与 ImageNet 不同，LLM 的每次预训练都是一次性的——你永远看不到完整的训练数据集。
• 你不能只在 MNIST 或 CIFAR 上有效，然后直接搬到 ImageNet 级别。许多方法跨尺度会失效。
• 因此，团队需要提出配方：一个将计算量映射到训练流程的函数，同时结合准确的预测规则，从而指导大规模扩展开箱。

来源

视频链接：https://www.youtube.com/watch?v=cDyi91onoJ8&feature=youtu.be

Vlad Feinberg@FeinbergVlad·May 18: How to land a job at a frontier lab

https://vladfeinberg.com/2026/05/10/how-to-land-a-job-at-a-frontier-lab.html…