AlphaEvolve：一个由Gemini驱动的编码智能体，用于设计先进算法

# AlphaEvolve：用Gemini驱动的编码代理，用于设计先进算法 来源：https://deepmind.google/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/ 新的AI代理通过结合大型语言模型的创意与自动评估器来进化数学和实际计算应用的算法 大型语言模型（LLM）具有显著的多功能性。它们可以总结文档、生成代码，甚至头脑风暴新想法。现在我们已将这些能力扩展到数学和现代计算中的基础性和高度复杂问题。 今天，我们宣布推出 AlphaEvolve（https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/AlphaEvolve.pdf?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=），一个由大型语言模型驱动的进化编码代理，用于通用目的的算法发现和优化。AlphaEvolve 将我们 Gemini 模型（https://deepmind.google/technologies/gemini/?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=）的创意问题解决能力与自动评估器相结合，后者验证答案，并使用进化框架来改进最有前景的想法。 AlphaEvolve 提升了 Google 数据中心、芯片设计和 AI 训练流程的效率——包括训练 AlphaEvolve 本身所基于的大型语言模型。它还帮助设计了更快的矩阵乘法算法，并为开放数学问题找到了新解决方案，展示了在许多领域应用中的巨大潜力。 ## 用大型语言模型设计更优算法 在 2023 年，我们首次展示了大型语言模型可以生成计算机代码函数，帮助在开放性科学问题上发现新的、可证明正确的知识（https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=）。AlphaEvolve 是一个代理，可以超越单一函数发现，进化整个代码库并开发复杂得多的算法。 AlphaEvolve 利用了最先进大型语言模型的集合：我们最快和最高效的模型 Gemini Flash（https://deepmind.google/technologies/gemini/flash/?_gl=1*7wovog*_up*MQ..*_ga*ODcyNjk2MzY0LjE3NDYxODE1OTY.*_ga_LS8HVHCNQ0*MTc0NjE4MTU5NS4xLjAuMTc0NjE4MTU5OS4wLjAuMA..&utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=）最大化了探索想法的广度，而我们最强大的模型 Gemini Pro（https://deepmind.google/technologies/gemini/pro/?_gl=1*5ncg4r*_up*MQ..*_ga*ODcyNjk2MzY0LjE3NDYxODE1OTY.*_ga_LS8HVHCNQ0*MTc0NjE4MTU5NS4xLjAuMTc0NjE4MTU5OS4wLjAuMA..&utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=）通过富有洞见的建议提供了关键的深度。这些模型共同提出了实现算法解决方案的计算机程序代码。 图示显示了提示采样器如何首先为语言模型组装提示，然后生成新程序。这些程序由评估器进行评估并存储在程序数据库中。该数据库实现了进化算法，确定哪些程序将用于未来的提示。 AlphaEvolve 使用自动化评估指标来验证、运行和评分提议的程序。这些指标提供了对每个解决方案的准确性和质量的客观、可量化的评估。这使得 AlphaEvolve 在数学和计算机科学等许多领域中特别有帮助，在这些领域进展可以被清晰和系统地衡量。 ### 优化我们的计算生态系统 在过去一年中，我们在 Google 的整个计算生态系统中部署了 AlphaEvolve 发现的算法，包括我们的数据中心、硬件和软件。这些改进在我们的 AI 和计算基础设施中的影响呈倍数增长，为所有用户构建更强大、更可持续的数字生态系统。 图示显示了 AlphaEvolve 如何帮助 Google 提供更高效的数字生态系统，从数据中心调度和硬件设计到 AI 模型训练。 ### 改进数据中心调度 AlphaEvolve 发现了一个简单但效果非凡的启发式方法，帮助 Borg（https://research.google/pubs/large-scale-cluster-management-at-google-with-borg/?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=）更高效地协调 Google 的庞大数据中心。这个解决方案已在生产环境中运行超过一年，平均持续恢复 Google 全球计算资源的 0.7%。这种持续的效率提升意味着在任何给定时刻，可以在相同的计算足迹上完成更多任务。AlphaEvolve 的解决方案不仅提供了强劲的性能，还提供了人类可读代码的重要操作优势：可解释性、可调试性、可预测性和易于部署。 ### 辅助硬件设计 AlphaEvolve 提议对 Verilog（https://en.wikipedia.org/wiki/Verilog）进行重写，在关键的高度优化的矩阵乘法算术电路中删除了不必要的位。至关重要的是，该提议必须通过健壮的验证方法来确认修改后的电路保持功能正确性。该提议被集成到即将推出的张量处理单元（TPU）（https://cloud.google.com/tpu?hl=en&utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=） Google 的自定义 AI 加速器中。通过用芯片设计师的标准语言提供修改建议，AlphaEvolve 促进了 AI 与硬件工程师之间的协作方法，以加快未来专用芯片的设计。 ### 增强 AI 训练和推理 AlphaEvolve 正在加快 AI 性能和研究速度。通过找到更聪明的方法来将大型矩阵乘法操作分成更易管理的子问题，它加速了 Gemini 架构中这个至关重要的内核（https://docs.jax.dev/en/latest/pallas/index.html）23%，从而将 Gemini 的训练时间减少了 1%。由于开发生成式 AI 模型需要大量的计算资源，每一点效率收益都会转化为巨大的节省。除了性能收益，AlphaEvolve 大大减少了内核优化所需的工程时间，从数周的专家工作减少到数天的自动化实验，使研究人员能够更快地创新。 AlphaEvolve 还可以优化低级 GPU 指令。这个极其复杂的领域通常已被编译器大幅优化，因此人类工程师通常不会直接修改它。AlphaEvolve 为 Transformer（https://en.wikipedia.org/wiki/Transformer_%28deep_learning_architecture%29）基础的 AI 模型中的 FlashAttention（https://arxiv.org/abs/2205.14135）内核实现实现了高达 32.5% 的加速。这种优化帮助专家指出性能瓶颈，轻松将改进纳入他们的代码库，提高了他们的生产力，并为未来的计算和能源节省做出了贡献。 ### 推进数学和算法发现的前沿 AlphaEvolve 也可以为复杂的数学问题提出新方法。在给定计算机程序的最小代码框架后，AlphaEvolve 设计了新型基于梯度的优化（https://www.sciencedirect.com/topics/engineering/gradient-based-algorithm）程序的许多组件，发现了多个新的矩阵乘法算法，这是计算机科学中的一个基础问题。 AlphaEvolve 提议的变化列表，用于发现更快的矩阵乘法算法。在这个例子中，AlphaEvolve 提议对包括优化器和权重初始化、损失函数和超参数搜索在内的多个组件进行广泛更改。这些更改是高度非平凡的，在进化过程中需要 15 次变异。 AlphaEvolve 的程序找到了使用 48 个标量乘法来乘以 4×4 复值矩阵的算法，改进了 Strassen 的 1969 年算法（https://en.wikipedia.org/wiki/Strassen_algorithm），该算法之前被认为是这一设置中最好的。这项发现展示了相比我们以前的工作 AlphaTensor（https://deepmind.google/discover/blog/discovering-novel-algorithms-with-alphatensor/?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=）的重大进步，AlphaTensor 专门用于矩阵乘法算法，对于 4×4 矩阵，只发现了二进制算术的改进。 为了调查 AlphaEvolve 的广泛性，我们将该系统应用于数学分析、几何、组合学和数论中超过 50 个开放问题。该系统的灵活性使我们能够在几小时内设置大多数实验。在大约 75% 的情况下，它重新发现了最先进的解决方案，据我们所知。 在 20% 的情况下，AlphaEvolve 改进了之前最好的已知解决方案，在相应的开放问题上取得了进展。例如，它推进了亲吻数问题（https://en.wikipedia.org/wiki/Kissing_number）。这个几何挑战已经吸引了数学家们 300 多年的关注（https://plus.maths.org/content/newton-and-kissing-problem），涉及与公共单位球体相接的非重叠球体的最大数量。AlphaEvolve 发现了 593 个外球体的配置，并在 11 维中建立了新的下界。 ### 前进的道路 AlphaEvolve 展示了从发现特定领域的算法到为广泛的现实世界挑战开发更复杂算法的进程。我们期望 AlphaEvolve 随着大型语言模型能力的不断提升而继续改进，尤其是随着它们在编码方面变得更好（https://developers.googleblog.com/en/gemini-2-5-pro-io-improved-coding-performance/?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=）。 与人工智能研究团队（PAIR）（https://pair.withgoogle.com/?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=）一起，我们一直在为与 AlphaEvolve 交互构建友好的用户界面。我们计划为选定的学术用户启动早期访问计划，并探索使 AlphaEvolve 更广泛可用的可能性。要注册您的兴趣，请填写此表单（https://forms.gle/WyqAoh1ixdfq6tgN8?utm_source=deepmind.google&utm_medium=referral&utm_campaign=gdm&utm_content=）。 虽然 AlphaEvolve 目前被应用于数学和计算，但其通用性意味着它可以应用于任何其解决方案可以描述为算法并自动验证的问题。我们相信 AlphaEvolve 可以在材料科学、药物发现、可持续性和更广泛的技术和商业应用等许多领域中具有变革性。 **致谢** AlphaEvolve 由 Matej Balog、Alexander Novikov、Ngân Vũ、Marvin Eisenberger、Emilien Dupont、Po-Sen Huang、Adam Zsolt Wagner、Sergey Shirobokov、Borislav Kozlovskii、Francisco J. R. Ruiz、Abbas Mehrabian、M. Pawan Kumar、Abigail See、Swarat Chaudhuri、George Holland、Alex Davies、Sebastian Nowozin 和 Pushmeet Kohli 开发。该研究作为我们致力于使用 AI 进行算法发现的工作的一部分而开发。 我们感谢 Jean-Baptiste Alayrac、Ankit Anand、Natasha Antropova、Giorgio Arena、Mohammadamin Barekatain、Johannes Bausch、Henning Becker、Daniel Belov、Alexander Belyaev、Sebastian Bodenstein、Sebastian Borgeaud、Calin Cascaval、Indranil Chakraborty、Benjamin Chetioui、Justin Chiu、Christopher Clark、Marco Cornero、Jeff Dean、Gaurav Dhiman、Yanislav Donchev、Srikanth Dwarakanath、Jordan Ellenberg、Alhussein Fawzi、Michael Figurnov、Aaron Gentleman、Bogdan Georgiev、Sergio Guadarrama、Demis Hassabis、Patrick Heisel、Chase Hensel、Koray Kavukcuoglu、Sultan Kenjeyev、Aliia Khasanova、Sridhar Lakshmanamurthy、Sergei Lebedev、Dmitry Lepikhin、Daniel Mankowitz、Andrea Michi、Kieran Milan、Vinod Nair、Robert O'Callahan、Cosmin Paduraru、Stig Petersen、Federico Piccinini、Parthasarathy Ranganatha、Bernardino Romera-Paredes、Georges Rotival、Kirk Sanders、Javier Gomez Serrano、Oleg Shyshkov、Timur Sitdikov、Tammo Spalink、Kerry Takenaka、Richard Tanburn、Terence Tao、Amin Vahdat、JD Velasquez、Dimitrios Vytiniotis、Julian Walker 和 Pengming Wang 的贡献、建议和支持。如需更多详情，请参阅我们的白皮书。 我们还要感谢 Armin Senoner、Juanita Bawagan、Jane Park、Arielle Bier 和 Molly Beck 对博客文章的反馈和帮助；William Hood、Irina Andronic、Victoria Johnston、Lucas Dixon、Adam Connors 和 Jimbo Wilson 对插图和图表的帮助。