AI中的开环与闭环问题

# AI中的开放/封闭问题 来源：https://blog.mempko.com/the-open-closed-problem-in-ai/ 我参加了在西雅图举行的第九届MLSys会议。这个会议汇集了研究界和工业界中构建机器学习系统的人。我所看到的大多数工作都在构建训练和使用大语言模型的系统。最大的焦点是效率。如何更高效地训练大语言模型？如何更高效地部署和使用它们？当我试图理解我所观察到的主题和信息时，我想到了开放/封闭问题。 要理解什么是开放/封闭问题，我们首先需要了解一点历史。 当3D计算机图形在90年代大爆发时，最初它们是由CPU渲染的。CPU是一种通用计算设备，你可以用它做任何事情。因此，3D图形自然千变万化，有些游戏甚至使用体素而不是多边形。那时创造力极大。后来我们开始通过显卡获得3D加速。这些显卡具有固定功能的流水线。所以，虽然它们极大地加速了多边形渲染和某些特效，但它们限制了图形处理方式的创造力，并且你失去了多样性。最终，像Nvidia这样的GPU制造商发明了像素着色器和顶点着色器。这为图形处理重新带来了灵活性，使得更具创造性的游戏成为可能。在这个可编程性的基础上，CUDA诞生了。CUDA非常灵活，以至于AI社区学会了在GPU上训练神经网络，从而能够尝试更大的模型。AlexNet是一个转折点，也是我们今天讨论AI和大语言模型的原因。我在MLSys上注意到，现在制造GPU的公司正在限制这些芯片，使其在推理方面比训练更高效。现在有了专门用于推理的ASIC，而另一些则针对训练进行了优化。 换句话说，我们从一个开放系统（CPU）开始，走向一个封闭系统（固定功能GPU），又回到开放系统（可编程GPU），再回到更封闭的系统（专用ASIC）。这就是我所说的开放/封闭问题的一部分。但这也与另一个不同意义上的开放/封闭问题相吻合。 我们部署的AI是通过开环进行训练的。我的意思是，模型本身不学习。你需要一个外部系统，在模型电路之外，来训练它们。你收集数据，设计损失函数，并通过反向传播进行随机梯度下降来训练它们。然后你部署它们。部署后，模型不再学习。其存储在参数中的记忆不会改变。人们通过使用Agent的外部记忆来绕过这一点。Agent使用一个不学习的大语言模型，通过工具调用来更新外部记忆源（比如markdown文件、数据库等）。所以Agent会学习，但学习效率非常低。 我们的大脑通过闭环来学习。我们的大脑有一个外部世界的模型；它们对感官应该感知到什么做出预测，然后检查感官，看预测与实际情况相差多远。如果预测错误，大脑会感到惊讶，并更新模型以做出更准确的预测。换句话说，我们大脑积累知识不需要外部过程。这一切都在大脑内部完成，是一个闭环。 这就是我在MLSys上注意到的另一个开放/封闭问题。似乎每个人都在努力让开环学习变得更好、更高效，要么通过改变模型架构，要么改变训练方式，优化GPU内核等等。我没有看到有人在研究闭环学习，即模型本身无需外部干预，在积累知识时自我更新。这两个开放/封闭问题是同一个问题。 所以这里有一个令人不安的论断。该领域正在庆祝的效率工作（更好的内核、推理ASIC、训练ASIC）不仅仅是一种中性进步。这是围绕开环学习进行的硬件固化，并且每一层的专业化都使得尝试闭环学习变得更加困难。我们正在优化进入一个范式，并称之为进步。固定功能GPU流水线不仅加速了图形处理；它们悄悄扼杀了十年的疯狂实验，直到可编程性回归。同样的事情现在正在发生，而MLSys上几乎没有人注意到。 而且这种机制并不模糊。推理ASIC在物理上固化了开环假设。权重被冻结，因此参数存储器被构建为只读，而非可重写。计算和内存分开放置，因为当模型从不变化时这样做是高效的。一切都围绕着大规模批量的矩阵乘法来设计，因为那是服务静态模型的样子。这些都不是疏忽。这是芯片在精确地完成其工作。但是，一个以闭环方式学习的模型需要与之完全相反的东西：不断变化的权重、细粒度的更新、将内存和计算融合在一起，以便参数可以在原地重写自身。为推理优化的芯片不仅无法帮助实现这一点，它还假设这种需求不存在，并将其固化在硅片中。每一代专业化都在未被选择的道路上浇注更多混凝土。 Eric Kandel因证明记忆不是由某个独立系统存储而获得诺贝尔奖。单个神经元在学习的既进行计算，又物理地重写自身。我们需要的突破是一个自我更新的模型，没有外部过程，没有单独的训练运行，内存和计算像神经元中那样以细粒度融合。这需要一个实验的基底：类似于FPGA的东西，但更大、更快，并为这个目的而构建。没有人在建造它，因为每个人都在忙着优化我们已有的东西。 所以我会直白地说。如果你正在研究开环效率，那么你并没有在研究突破口。你正在研究的是让突破口更难被发现的东西。硬件正在围绕错误的范式固化，而业界则在为速度自我祝贺。尝试闭环学习的窗口现在敞开着，并且随着每一款ASIC的出货而逐渐关闭。应该有人在它关闭之前建造出这个基底。