一封来自机器学习工程师的信

# 一封来自机器学习工程师的信 来源：https://nemin.hu/llm-letter/index.html ## 目录 - 这封信 (https://nemin.hu/llm-letter/index.html#the-letter) - 我对各部分的思考 (https://nemin.hu/llm-letter/index.html#my-thoughts-on-the-individual-sections) - 结语 (https://nemin.hu/llm-letter/index.html#closing-thoughts) - 脚注 (https://nemin.hu/llm-letter/index.html#footnotes) 几天前，我收到一封来自临时邮箱的邮件，作者自称是一家前沿实验室的机器学习工程师。信中，他们阐述了对当前大语言模型热潮未来的看法，以及前沿实验室为何注定最终会走向衰败。 我无法确认作者是否真如其所言，也未能回复，因为该邮箱此后已被注销。1 (https://nemin.hu/llm-letter/index.html#fn1) 通常我不会公开私人邮件，曾考虑数日是否要破例。然而，考虑到该话题在当下的重要性，且作者称其写法（据其所言）不会暴露身份，我认为值得与更广泛的社群分享。2 (https://nemin.hu/llm-letter/index.html#fn2) 我将首先逐字引用邮件内容，供希望阅读完整文章的读者参考。随后我会重复引用，并在需要时插入我的评论。 两部分内容完全相同，若您愿意阅读附有我批注的拆解版本，可直接跳至第二部分。 ## 这封信 > 你好，Nemin，我在一家前沿AI实验室担任机器学习工程师。我在一家你可能知道的大公司里，为前沿项目训练模型并进行RLHF。抱歉邮件简短，因签署保密协议，内容需保持泛泛。我看到你关于担忧编程未来的文章。说实话，我更担心失业。这怎么可能？内部而言，我们在编程任务上的模型扩展已达瓶颈，这正是许多人转行的原因。我们公司一年内许多高管离职，IPO问题确实令人焦虑。还有更多信息无法分享，但内部情况不容乐观。对我们这类实验室的真正威胁在于缺乏竞争护城河。我们必须不断宣传数学解题能力并过度推销，因为变化太快。专有扩散模型大多被开源权重模型取代。图像和视频生成现在可用开源模型完成，不再需要我们。销量暴跌，因此前沿实验室悄然停止了图像/视频生成的推广。LLM将是下一个。连严肃研究界的LeCun等人也已转向其他方向。注意力机制论文的多数作者已离开Google，分散至新实验室和初创公司。从效率和规模看，趋势明确。一年内，我们将看到开源权重模型达到或超越Fable 5.1的水平。参数效率研究正在进行，若成功，未来类似模型可能在高端笔记本电脑等设备上运行。AGI在数学上不可能通过LLM实现。几年前有篇论文用康托尔对角线论证了这一点。我记不清具体名称，因是很久以前读的。这一认知改变了一切。2023年，一位Google研究员泄露内部备忘录，直言："我们没有护城河，OpenAI也没有。"如有兴趣可查阅。线上讨论已受污染。许多炒作推手，那些售卖在线课程的网红，如今正被AI公司赞助。我认为程序员压力正源于此。勿轻信主流网站的任何信息。部分工程师正部署代理作为"趣味项目"以推广模型和抓取数据（我因此找到你的邮箱），务必忽略CEO们的预测。他们对实际情况完全一无所知。 ## 我对各部分的思考 > 你好，Nemin，我在一家前沿AI实验室担任机器学习工程师。我在一家你可能知道的大公司里，为前沿项目训练模型并进行RLHF。 MLE即机器学习工程师，我自行推断出，因非常明显。但我不知RLHF何意（之前只听过RTFM和GLHF：），故查询得知。其意为基于人类反馈的强化学习（Reinforcement Learning from Human Feedback (https://en.wikipedia.org/wiki/Reinforcement_learning_from_human_feedback)），即一种代理训练的特定变体，其中奖励函数（决定AI响应"优劣"的标准）由人工操作员手动调整。 > 抱歉邮件简短。因签署保密协议，内容需保持泛泛。 难以责怪作者（因邮件中使用假名，我此后称其为"G"3 (https://nemin.hu/llm-letter/index.html#fn3)）。虽保密协议(NDA (https://en.wikipedia.org/wiki/Non-disclosure_agreement))并非普遍强制执行(https://www.law.cornell.edu/wex/non-disclosure_agreement_(nda))，但仍是悬顶之剑——"言多必失，此行业永无立足之地"。 > 我看到你关于担忧编程未来的文章。 "我的文章"指我之前关于不因伦理问题、AI无用性及热爱本行而不将LLM用于业余项目的承诺(https://nemin.hu/llm/index.html)。 自撰写该声明以来，我对LLM的看法略有转变，或言更为微妙： **其一，**我无法再称各类编程代理的输出无用。我认为坚称其仍输出纯属胡言者必未尝试过代理。 我仍不信任氛围编程，因信奉无监督开发将导致仅写入应用，随时间推移维护成本指数级上升，且无代理持续协助则难以理解。 在我看来，这如同绑定于一种"供应链"，其令牌价格持续波动，非基于任何真实、可衡量的指标。它亦无助于提升自身对计算机的理解与掌握。我确信，无论此，你可通过氛围编程"快速致富"，但我对此无甚兴趣。 然而，在工作场所被强烈建议尝试AI后，我发现代理作为"秘书"极擅根据自由文本查询获取代码库信息。虽`grep`、`find`等已能胜任，"氛围搜索"更进一步，其效果我难用传统工具复制。 我还发现，在提交PR供人类实际审阅前使用代理作为预审者，可避免一些不必要的往返。虽我最终仍依赖人类判断（包括自身），但捕捉如"此行可能解引用空值"、"此注释未更新以反映代码实际行为"等问题颇为有益。 **其二，**这或许略显悖谬——我刚承认代理输出优于先前认知，但我已不认为编程职业将消失。实际上，我认为理解这些机械鹦鹉"思考"方式者比以往更有职业保障。 撰写首文时，我曾真切担忧近五年大学（及此前十余年业余编程）生涯将在模型充分替代我们后彻底过时。 虽见代理输出质量大幅改善，我仍遇大量失误。公司允许使用顶级模型，它们时而能力非凡，时而极其愚钝。 例如：我们使用的模型仍偶尔凭空构想根本不存在的函数，即便已接入LSP。它偶将代码移入本应两分支都执行的条件语句。有时它直接采用标记为遗留代码的风格作参考。以上仅是小部分案例。 人类必须参与监督，以防机器做出蠢事。如前所述，我绝非放任代理之人。我极少允许其生成超过10-20行代码。它如何能整体取代我？ 相反，我认为近期以"AI效能优化"为名的裁员潮实为CEO们盲目追随炒作，以及市场在后疫情/零利率政策(ZIRP (https://en.wikipedia.org/wiki/Zero_interest-rate_policy))时代经历痛苦正常化。 **话虽如此，**无论LLM多么便利，道德顾虑及保持技能精湛的意愿，仍使我仅将AI使用限于工作场合。 > 说实话，我更担心失业。这怎么可能？内部而言，我们在编程任务上的模型扩展已达瓶颈，这正是许多人转行的原因。我们公司一年内许多高管离职，IPO问题确实令人焦虑。还有更多信息无法分享，但内部情况不容乐观。 有趣的是，我原以为Anthropic和OpenAI已上市，但实际均未。我猜其财务数据(isaiprofitable.com/)尚未达到上市标准。 至于其他声明，我无法核实。确有研究人员因担心AI危害人类而辞职(https://www.businessinsider.com/anthropic-researcher-quits-over-ai-safety-concerns-2026-9)的故事，但此人非高管，且似为伦理原因而非财务离职。 > 对我们这类实验室的真正威胁在于缺乏竞争护城河。我们必须不断宣传数学解题能力并过度推销，因为变化太快。专有扩散模型大多被开源权重模型取代。图像和视频生成现在可用开源模型完成，不再需要我们。销量暴跌，因此前沿实验室悄然停止了图像/视频生成的推广。 此部分在OpenAI可能从两位研究者手中"窃取"Navier-Stokes方程进展的争议(https://simonwillison.net/2026/Sep/8/on-navier-stokes/)后显得尤为尖锐。 需澄清：G的邮件到达时OpenAI已公布成果，此系对此的反应而非预警，亦不证明G来自OpenAI。 至于引文另一部分，AI垃圾视频沦为廉价大宗商品，不值得作为单独产品销售的现象确有趣。昔日有Sora等产品，后因经济模型不通而终止。我在想，未来出售令牌是否会被视为无意义，因其已如此商品化。 > LLM将是下一个。连严肃研究界的LeCun等人也已转向其他方向。注意力机制论文的多数作者已离开Google，分散至新实验室和初创公司。从效率和规模看，趋势明确。一年内，我们将看到开源权重模型达到或超越Fable 5.1的水平。参数效率研究正在进行，若成功，未来类似模型可能在高端笔记本电脑等设备上运行。 G指的是Yann LeCun (https://en.wikipedia.org/wiki/Yann_LeCun)，以机器学习与计算机视觉研究闻名，今年四月(https://www.brown.edu/news/2026-04-01/yann-lecun-artificial-intelligence-pioneer)举办讲座称LLM为死胡同，若人类真追求AGI需新路径。 尽管如此，他亦参与(https://thealliance.ai/projects/tapestry)"开放自主AI协作基础"项目，此点见仁见智。 > AGI在数学上不可能通过LLM实现。几年前有篇论文用康托尔对角线论证了这一点。我记不清具体名称，因是很久以前读的。这一认知改变了一切。2023年，一位Google研究员泄露内部备忘录，直言："我们没有护城河，OpenAI也没有。"如有兴趣可查阅。 我猜G指《幻觉不可避免》(Hallucination is Inevitable (https://arxiv.org/abs/2401.11817))，这篇2024年常被引用的论文证明了不可能制造不产生幻觉（即成为完美通用问题解决者）的LLM。 至于另一篇备忘录，或可于此处查阅(https://newsletter.semianalysis.com/p/google-we-have-no-moat-and-neither)。据称是一位匿名Google员工的真实备忘录，认为前沿实验室终将借尽时日，开源权重模型不仅会赶超闭源模型。 我学识不足，无法详论两篇论文。仅知《我们没有护城河...》出自2023年，迄今（至少凭我有限认知）未觉那位Google员工担忧之事已成真。闭源模型仍占主导，虽现有可在消费硬件运行的出色模型，但仍不匹配且硬件成本高昂。 G在前段具体提及此点，假设我们将在2027年底前见到开源权重Fable 5.1，但在其实现前，我们只能基于现有假设行事。 另Google对LLM的重心已从代理应用转向以新方式促使用户参与搜索。或此即Google的*护城河*——其数据及无人如此直接连接的事实。 > 线上讨论已受污染。许多炒作推手，那些售卖在线课程的网红，如今正被AI公司赞助。我认为程序员压力正源于此。勿轻信主流网站的任何信息。部分工程师正部署代理作为"趣味项目"以推广模型和抓取数据（我因此找到你的邮箱），务必忽略CEO们的预测。他们对实际情况完全一无所知。 我毫不怀疑此点。 网上所见尽是末日论或加速主义狂热，不那么"激进"（无论支持或反对AI）的声音被炒作派与反炒作派淹没。部分声音为付费托儿，于我非难理解之逻辑。4 (https://nemin.hu/llm-letter/index.html#fn4) 我确信任何大公司高层都须追随当下潮流，因若其成果显著，你定不愿因未上车而落单。 ## 结语 那么，我信G吗？部分相信。 - 我相信不存在可使LLM从多功能却古怪工具跃升为AGI的秘密"银弹"。 - 我也相信，CEO们绝对