制造能够倾听的机器

# 打造能"听"懂世界的机器 来源：https://news.mit.edu/2026/making-machines-that-can-listen-paris-smaragdis-1028 球棒击出清脆声响，伴随观众席上的欢呼，即便棒球迷错过了本垒打的画面，也能立刻被吸引。人类或许是视觉动物，但我们同样通过聆听来感知周围的世界。 为了提升机器的感知能力，MIT 教授 Paris Smaragdis（SM '97，PhD '01）致力于打造能够听懂声音、甚至超越人类听力水平的机器。 拥有超人听力的机器，可以通过辨识轮胎刺耳的刹车声和金属撞击声，迅速定位交通事故的发生地；也能在工业钻头穿越坚硬岩层钻探地热井时，判断钻头何时可能出现故障。 "我喜欢说我和做计算机视觉的人干的是同一件事，只不过我专注的是听觉，"Smaragdis 说道。他在人文、艺术与社会科学学院的音乐与戏剧艺术项目，以及工程学院和 MIT 施瓦茨曼计算学院的电气工程与计算机科学系联合任职。 他的研究小组专注于多个领域，包括用于声源分离的机器学习、能够增强人类音频环境的智能设备，以及帮助人们理解、操控、分析和创作音乐的更好工具。 "因为从小有音乐背景，我一直对这些想法很感兴趣。让机器理解声音需要什么？能听的机器有着巨大的应用空间，"2025 年加入 MIT 的 Smaragdis 说道。 **音乐的序章** Smaragdis 在希腊长大，从小就学习古典吉他。他喜欢弹奏古典曲目，但父亲带回的一台小型合成器成了他音乐旅程的转折点。 "那台小合成器有个功能可以让你自己创造声音，我一下子就被它无穷的可能性深深吸引了，"他说。 20 世纪 80 年代，合成器在流行音乐中占据越来越重要的位置，这也加深了他对这项技术的着迷。 随着学业的推进，Smaragdis 希望学习用合成器制作的音乐。但当时较为传统的欧洲音乐学院并没有提供这样的教育路径。 于是，他进入了波士顿的伯克利音乐学院（Berklee College of Music），就读一个可以探索计算机和合成器用于塑造与操控声音的课程。 "有了计算机和合成器，我可以创造出前所未闻的新声音，"他说。 与此同时，Smaragdis 沉浸于爵士融合音乐之中。他在伯克利选择了贝斯作为主修专业，因为这样能获得更多与爵士乐团合作的机会。 "我发现贝斯在音色上比吉他更有意思。它是一个尚未被充分探索的领域，而我一直倾向于未被探索的方向，"他说。 这种对未知领域的兴趣也延伸到了他的课程学习中。他和导师、电子制作与设计教授 Richard Boulanger 一起，开发了帮助人们使用计算机创作、制作和增强音乐的新工具。 在伯克利求学期间，Smaragdis 与 MIT 媒体实验室的 Barry Vercoe 教授（已于 2025 年去世，https://news.mit.edu/2025/barry-vercoe-computer-music-visionary-dies-0707）展开合作，开发用于音乐创作的软件合成器。在此项目的基础上，Smaragdis 进入 Vercoe 的研究团队攻读研究生，先后获得硕士学位和博士学位，随后从事博士后研究。 "在媒体实验室，我更多地接触到了计算机音乐中'计算机'的那部分。我的注意力从那时起开始转向。我真正想做的，是打造能够理解声音的计算机，"他说。 **调频未知领域** 当时，媒体实验室的许多学生都在使用信号处理技术来帮助机器处理声音。Smaragdis 选择了一条较少人走的路——机器学习，以此脱颖而出。 他发现，用机器学习模型训练机器理解声音，能获得传统信号处理技术无法企及的优势。 "随着时间推移，我越来越清楚地认识到，我们需要教会计算机如何去听。我们不能只是告诉它们怎么听。事实上，我们甚至不知道人类自己是怎么听的，"他说。"我们没有一套词汇来解释'听'意味着什么，或者如何区分猫的叫声和小提琴的声音。" 完成博士后研究后，Smaragdis 进入三菱电机研究所（Mitsubishi Electric Research Labs）工作，从事人工智能系统研究，让机器能够扫描视频的音轨并理解屏幕上正在发生的事情。 "假如你录下一场完整的足球比赛，但只想看精彩集锦。在计算机视觉中，识别什么算集锦是非常困难的。但反过来，如果你只听声音，当观众疯狂欢呼时，你就知道有精彩的事情发生了，"他说。 该系统后来被纳入多种电子设备，包括三菱当时正在开发的个人录像系统，以及交通监控系统和手机中。 Smaragdis 后来加入了 Adobe，在那里他创建了音频研究团队，开发用户友好的工具，帮助艺术家、音乐人和制作人在无需深厚专业知识的情况下操控声音。 "在做这些工作时，我不断遇到需要解决的更深层技术问题。我因此转入学术界来满足这份好奇心，"他说。 Smaragdis 加入了伊利诺伊大学厄巴纳-香槟分校（University of Illinois at Urbana-Champaign）任教，他和团队将最新的机器学习技术融入音频处理系统。 他们开发的一项技术利用神经网络从音频混合中分离出单独的声音。该项目引起了 2021 年纪录片迷你剧《The Beatles: Get Back》制作团队的注意。 制作团队邀请 Smaragdis 帮助清理一些披头士的档案录音。 "那是一种与我在学术界所做的完全不同的音频处理方式。我需要让成品听起来好听，但不必在理论上完美。我们没有一个可以直接优化的公式，"他说。 每段录音都面临不同的挑战。例如，在一段素材中，John Lennon 在演奏音乐，而 Paul McCartney 在一旁搞怪，朗读报纸头条并模仿 George Harrison。 "我们试图开发一种技术方案来帮我们应对所有情况，而不是逐一解决每个问题，"他说。 他的贡献帮助团队在 2022 年获得了非虚构或真人节目类的声音剪辑艾美奖（Emmy Award）。 **齐心协力** 在伊利诺伊大学任教 15 年后，Smaragdis 决定加入 MIT，致力于解决该领域中出现的棘手跨学科问题。 他的团队目前专注于两大方向。其一，他们致力于开发让计算机成为音乐人更有用工具的系统。 该项目的一个方向是让机器学会如何"听"音乐，从而为音乐人提供建设性反馈。 "我们想增强音乐人的工具箱，而不是用计算机取代音乐人，"他说。 在另一方向上，他的团队专注于开发科学家和艺术家都可以使用的基础工具，用于处理、分析和操控音频。 例如，他的团队最近一直在探索一种算法，允许进行复杂的信号处理，而传统的参照系——如采样率、帧大小或上下文窗口——不需要固定，甚至无需预先定义。 Smaragdis 表示，这意味着存在尚未被探索的、可能实现更高效处理的计算结构。 "这需要重新思考很多基础概念，但一旦你具备了这种能力，就可以构建更加灵活、更加强大的系统，"他补充道。 他们也在探索将大语言模型等最新技术融入语音识别和音频增强的方法。 "AI 是一个极其强大的工具，但我认为我们还没有找到在声音和音乐领域使用它的最佳方式，"他说。 他还乐于指导学生，帮助他们将研究项目的愿景变为现实。 由于他的学生中很少有人有在声音领域使用计算的经验，他强调动手实践的教学方式，让学生亲眼看到、亲耳听到如何将公式转化为有形的成果。 Smaragdis 至今仍会因创作音乐而兴奋不已，无论是使用计算机还是更传统的乐器。在校园之外，他一有时间就尝试弹奏爵士贝斯，还喜欢和妻子以及 15 岁的儿子一起探索波士顿丰富的音乐社区。 在音乐领域之外，他打水下曲棍球（underwater hockey）并担任教练——这项运动中，选手佩戴潜水镜，用球棍在泳池底部推动一个沉重的圆 puck 前进，将球推入对手的球门。他曾担任伊利诺伊大学水下曲棍球队的教练，目前希望不久能重启 MIT 水下曲棍球俱乐部，并在校园内举办比赛。 虽然水下曲棍球是一项较为小众的运动，但它与 Smaragdis 终身追求未被探索领域的兴趣一脉相承。 "我一直喜欢做和别人不一样的事。如果你能创造出一种前所未有的声音，那说明你创造新事物的能力如何呢？我一直觉得这些问题非常迷人，"他说。