# 学习机器学习的语言
摘要
MIT News 介绍了研究人员 Jacob Andreas 的经历:从儿时编程起步,到如今主导相关工作——开发能够将复杂神经计算转化为人类可理解语言的工具,用于调试和改进深度学习模型。
<p>在高风险场景中部署深度学习模型时,研究人员希望理解它们的工作原理。要做到这一点,就必须梳理一个极其复杂的内部处理节点网络,以了解模型掌握了什么知识,以及它在实践中可能如何表现。</p><p>Jacob Andreas 更希望让模型自己来解释。</p><p>这位新晋终身副教授开发的技术,使人工智能模型能够用人类可以理解的语言,准确地说明它们从训练数据中学到了什么。</p><p>"与其使用所有这些外部工具来试图了解底层发生了什么,也许我们可以训练模型以一种准确的方式谈论自己,"Andreas 说。他是电气工程与计算机科学系(EECS)的副教授,也是计算机科学与人工智能实验室(CSAIL)的成员。</p><p>通过研究机器如何理解语言,Andreas 及其团队致力于构建能够从人类指导中学习世界知识,并与人类协作者进行有效沟通的智能系统。他们开发的方法使训练过程更加自然高效,让 AI 模型以更接近人类学习的方式进行学习。</p><p>最终,他和他的团队希望帮助人们设计出更准确、更稳健的深度学习模型,使其更好地适配预期的应用场景。</p><p>"过去我们调试系统只是查看参数,判断它们是否合理。现在我们需要'读心工具',能够把这些极其复杂的神经计算翻译给我们,因为它使用的语言不是我们人类会说的,"他说。</p><p><strong>对语言的热爱</strong></p><p>Andreas 对语言的迷恋从小就开始了。在旧金山湾区长大的他,是一个如饥似渴的阅读者,什么书都读。</p><p>其中一本书是一位家族朋友传给他的,书中有一个关键场景:主人公入侵了一个计算机系统,挽救了局面。</p><p>这激发了他对计算机的兴趣。几年后,他的父亲带回家一台简单的 BASIC Engine,Andreas 可以在家庭电脑上运行,他从此开始沉浸于计算机编程的世界。</p><p>Andreas 在 Columbia University 本科时选择了计算机科学专业,但不确定自己想从事研究、软件工程师还是创业的工作。</p><p>他的朋友们都报名参加了教师实验室的研究项目,于是 Andreas 决定也试试。</p><p>"我给计算机科学系所有从事与 AI 相关工作的人群发了邮件,自然语言处理方向的教授最先回复了我。这就是我最终进入现在这个领域的原因,"他说。</p><p>在 Columbia University 计算机科学 Vikram S. Pandit 教授 Michael Collins 的实验室工作期间,Andreas 完成了一个关于机器翻译的本科论文项目。他的项目涉及将现有的用于表示语言意义的统计技术,改造为更强大的 AI 系统来翻译文本段落。</p><p>"我总是觉得,关于思维如何运作、如何对世界建模这些更深层次的问题,在语言处理问题中比在当时 AI 从业者所做的其他任务中更容易触及,"他回忆道。</p><p><strong>一次巨大的转变</strong></p><p>他希望继续探索这些深层问题,于是 Andreas 前往 University of California at Berkeley 读研究生,立志成为一名学术研究者。</p><p>在开始博士学习之前,他在 England 的 Cambridge University 花了一年时间攻读硕士学位。在那个富有历史底蕴的环境中,他一边研究计算翻译问题,一边思考语言学习的本质,深受启发。</p><p>这些研究为他加入 Berkeley 计算机科学教授 Dan Klein 的实验室后的研究奠定了基础。</p><p>Andreas 开始学习研究时,神经网络刚刚开始蓬勃发展。自然语言处理领域正经历一次从统计方法到深度学习新世界的巨大转变。</p><p>统计方法利用透明的数学公式来分析文本,而深度学习技术则使用不透明的算法,从海量文本数据中自动学习复杂的含义。</p><p>"能在我们向现代工具转型的时候亲历其中,学习和发明这些当时还很新的东西,真的很有趣,"Andreas 说。</p><p>他开始与计算机视觉实验室的科学家合作,探讨关于语言学习的越来越复杂的问题。他们共同设计了擅长生成自然语言的 AI 系统,方法是教这些系统"看见"并理解周围的环境。</p><p>"这一切都令人非常兴奋,因为当时确实还没有一套通用的工具可以同时处理语言和视觉数据。然后,突然间,神经网络给了我们这种共同语言,"他回忆道。</p><p>他完成了一个关于神经模块网络的论文项目——神经模块网络是神经网络的小片段,在更大的 AI 系统中执行特定任务,比如定位物体或逻辑推理。但正是他在论文之外所从事的更具探索性的项目——比如可解释性,以及为 AI 模型的内部状态创建自然语言描述——最终推动了他在 MIT 的团队的研究方向。</p><p><strong>教职聚焦</strong></p><p>在创业公司 Semantic Machines(从他在 Berkeley 的实验室独立孵化出来)工作一年后,Andreas 于 2019 年加入了 MIT 的教职团队。</p><p>"这感觉像是一个绝佳的机会,能够身处 AI 研究的大本营,与所有这些令人惊叹的资深学者合作,同时也做一些新的事情,弄清楚机器学习的现代时代将是什么样子,"他说。</p><p>他的团队专注于两个主要领域。首先,他们正在研究大语言模型的科学,以理解这些模型在学习和处理信息时所部署的算法。</p><p>他们开发的工具帮助科学家和研究人员更好地预测训练好的模型在现实世界中的行为。例如,他们开发的一类技术训练大语言模型,用人类可以理解的语言来解释其他神经网络内部正在发生什么。</p><p>这些技术可以为巨大神经网络中的每一个信息处理节点赋予自然语言描述。例如,其中一个描述可能代表一个识别<a href="https://arxiv.org/pdf/2201.11114" target="_blank">"输入图像中动物附近的草地斑块"</a>的单独节点。</p><p>"这项工作为我们提出的关于这些模型如何表征意义的许多更高级别问题提供了一个出发点,"他说。</p><p>另一方面,他的团队设计了用于训练机器学习模型的新算法,以及用于预测特定数据集或样本将如何影响模型行为不同方面的算法。</p><p>"我们还没有一个良好的科学理论来预测当用特定数据集训练模型时会发生什么。这对该领域来说是一个巨大的挑战,"他说。</p><p><strong>不断变化的环境</strong></p><p>AI 发展的速度是他的实验室面临的最大挑战之一。Andreas 说,这个领域似乎每三到五年就会彻底改变一次,迫使他保持敏捷,随时准备学习新东西。</p><p>同样的困境也延续到了 6.461 和 6.861(本科和研究生自然语言处理)课程中,Andreas 正在努力更新这些课程的内容,以跟上领域的最新进展。</p>
查看缓存全文
缓存时间: 2026/11/19 03:30
# 学习机器学习的语言
来源:https://news.mit.edu/2026/learning-language-of-machine-learning-jacob-andreas-1117
归根结底,他和他的团队希望帮助人们设计出更准确、更稳健的深度学习模型,使其更好地服务于预期的应用场景。
"我们过去调试系统只是看参数,判断它们是否合理。现在,我们需要'读心工具',能够将这些极其复杂的神经计算翻译给我们看,因为它根本不是一种我们人类会说的语言,"他说。
**对语言的热爱**
Andreas 对语言的痴迷从小就已萌芽。在旧金山湾区长大的他,是一个如饥似渴的阅读者,拿到什么书都读。
有一本由家人朋友传给他的书,其中有一个关键场景:主角入侵了一台计算机系统并拯救了局面。
这激起了他对计算机的兴趣。几年后,他的父亲带回家一台简单的 BASIC Engine,Andreas 可以在家用电脑上运行它,从此他开始沉浸在计算机编程的世界中。
Andreas 在哥伦比亚大学本科阶段选择了计算机科学专业,但并不确定自己想从事研究工作、软件工程,还是进入初创公司。
他的朋友们纷纷报名参加教授实验室的研究项目,于是 Andreas 也想试试。
"我当时群发邮件给计算机科学系所有从事与 AI 略微相关工作的老师,自然语言处理领域的教授最先回复了我。我就是这样进入了现在所从事的领域,"他说。
在哥伦比亚大学 Vikram S. Pandit 计算机科学讲席教授 Michael Collins 的实验室工作期间,Andreas 完成了一个关于机器翻译的本科毕业论文项目。该项目涉及将现有的用于表示语言意义的统计技术加以改造,构建出能够翻译文本段落的更强大的 AI 系统。
"我总是觉得,与当时 AI 从业者从事的其他任务相比,语言处理问题中那些关于思维如何运作、如何建模世界的更深层问题更接近表面,"他回忆道。
**一场剧变**
他希望继续探索这些深层问题,于是 Andreas 进入加州大学伯克利分校攻读研究生,立志成为一名学术研究者。
在开始博士学业之前,他花了一年时间在英国剑桥大学获得硕士学位。在那个充满历史氛围的环境中,他在研究计算翻译问题的同时,深受启发,开始思考语言学习的本质。
这些研究为他加入伯克利计算机科学教授 Dan Klein 实验室后的研究奠定了基础。
Andreas 开始学业时,神经网络正开始蓬勃发展。自然语言处理领域正经历一场从统计方法向深度学习新世界的剧变。
统计方法利用透明的数学公式来分析文本,而深度学习技术则使用不透明的算法从海量文本数据中自动学习复杂的含义。
"能在这个转型过程中亲眼见证我们迈向现代工具包,在这些东西还很新的时候学习和发明它们,这真的很有趣,"Andreas 说。
他开始与计算机视觉实验室的科学家合作,研究关于语言学习的日益复杂的问题。他们共同设计了擅长生成自然语言的 AI 系统,方法是教会这些系统"看到"并理解周围的世界。
"这一切都超级令人兴奋,因为此前真的没有一套可以同时处理语言和视觉数据的通用工具。然后,突然之间,神经网络给了我们这样一种通用语言,"他回忆道。
他完成了一个关于神经模块网络的论文项目。神经模块网络是神经网络的小片段,在更大的 AI 系统中执行特定任务,如定位物体或进行逻辑推理。但真正决定他后来在 MIT 实验室研究方向的,是他在论文之外同时进行的那些更具探索性的项目,比如可解释性研究,以及为 AI 模型的内部状态创建自然语言描述。
**教职生涯**
在 Semantic Machines 创业公司工作一年后(该公司从他在伯克利的实验室孵化而出),Andreas 于 2019 年加入 MIT 教职。
"这感觉像是一个绝佳的机会,可以身处 AI 研究的大本营,与所有这些出色的、功成名就的人合作,同时也做一些新的事情,弄清楚机器学习的现代时代将会是什么样子,"他说。
他的团队聚焦于两个主要方向。首先,他们在研究大语言模型的科学,以理解这些模型在学习和处理信息时所部署的算法。
他们开发的工具帮助科学家和研究人员更好地预测训练好的模型在现实世界中的行为。例如,他们开发的一类技术训练大语言模型用人类能理解的语言来解释其他神经网络内部正在发生的事情。
这些技术可以为庞大神经网络中的每一个信息处理节点分配一个自然语言描述。例如,其中一个描述可能代表一个识别输入图像中"动物附近的草地斑块"的个体节点(https://arxiv.org/pdf/2201.11114)。
"这项工作为我们提出的许多关于这些模型如何表征意义的更高层次问题提供了一个出发点,"他说。
另一方面,他的团队设计新的算法来训练机器学习模型,以及预测特定数据集或样例如何影响模型行为的不同方面。
"我们还没有一个很好的科学理论来说明当用某个特定数据集训练模型时会发生什么。这是该领域目前面临的一大挑战,"他说。
**不断变化的环境**
AI 的发展速度是他的实验室面临的最大挑战之一。Andreas 说,这个领域似乎每隔三到五年就会彻底改变一次,迫使他保持灵活,随时准备学习新东西。
这种困境同样延续到他共同教授的课程 6.461 和 6.861(本科和研究生自然语言处理)中。他和同事们每年都必须重新设计课程,以跟上最新的进展。
在这个大语言模型可以代替人类学生完成每项作业的时代,教授机器学习的技术内容也颇具挑战性。
"我试图让学生们明白,对所有这些技术的底层工作原理有非常深入的理解,是他们唯一能真正理解它的方式,也是在一个人人都能使用编码代理的世界中脱颖而出的关键,"他说。
变化如此之多,很难预测这个领域下一步将走向何方,Andreas 说。他预见,他团队在可解释性方面的工作将变得越来越重要,这对于让 AI 智能体等先进系统足够安全地部署在高风险场景中尤为关键。
随着研究人员设计能够辅助科学发现的深度学习模型,这一点将尤其重要。这些模型将基于研究实验室中海量的原始数据进行训练,而这些数据可能尚未被科学家充分理解。
"如何让这些模型将其所拥有的、关于人们从未明确写下过的事物的所有隐藏知识表达出来,将成为机器学习从业者面临的巨大挑战和机遇,"他说。
除了应对实验室中的挑战,Andreas 还喜欢在徒步和背包旅行中挑战自我。自童年在加州起,他就热爱户外活动,每年夏天至少进行一到两次背包旅行。
他与数学系的一位同事正在逐一攀登新罕布什尔州白山所有海拔超过 4000 英尺的山峰,进展虽然缓慢但稳步推进。
如今他已获得终身教职,Andreas 期待重拾一个旧爱好——在室内合唱团中唱歌。他一直热爱音乐,在剑桥大学期间迷上了教堂合唱和钟鸣。
相似文章
@latentspacepod:递归语言模型——Claude Code、智能体群、大型研究押注,以及那个4000万美元的AI问题解决器 https://latent.sp…
Latent Space 专访了 MIT 的 Alex Zhang,探讨递归语言模型(RLM),讲解模型如何把自身提示词当作外部对象来处理,如何借助子智能体群(subagent swarm)和上下文卸载(context offloading)实现泛化,并在学术界押注大型研究方向。
通过教学实现可解释的机器学习
OpenAI 提出了一种机器教学方法,其中教师神经网络学习选择最具代表性的示例来教导学生网络识别概念,通过将示例与人类可理解的特性相关联而不是任意的特征编码,产生可解释的结果。
@antiAIvo: 我已经学习了Transformer架构的基础知识、推理和训练流程。接下来,我将开始新一轮的深入探讨…
作者介绍了一门关于大模型推理优化的学习路径,涵盖KV缓存、连续批处理、分页注意力机制等核心议题,并对vLLM与SGLang展开对比分析,突出了该领域在AI部署中的前沿技术地位。
@karpathy:我们将花更多时间去理解语言模型的输出。一些思考、技巧和窍门:……
Andrej Karpathy 分享了理解大语言模型输出的技巧,建议使用 ASD-STE100 这类受控语言来获得清晰简洁的表达,此外还推荐生成图表、HTML 网页以及定制讲解视频(例如用 ElevenLabs 配音的 3Blue1Brown 风格视频)等越来越有效的输出形式。
@0xCodez: https://x.com/0xCodez/status/2058911661973454915
一份详细指南,解释构建大型语言模型的五个阶段流程,强调数据质量和工程实践比架构更为重要。