《Attention is All You Need》出版9周年纪念...
摘要
本文纪念《Attention is All You Need》论文发表9周年，并强调基于transformer的生成式AI系统如何解决了Navier-Stokes存在与光滑性问题，展示了AI在十年内的快速进步。
而今天，一个基于transformer的生成式AI系统找到了Navier-Stokes存在与光滑性问题的解决方案。在不到十年的时间里，基于transformer的系统从产生几乎无法理解的文本，发展到解决那些曾让一些人类最聪明头脑都束手无策的问题。不到十年。那么，9年后的我们将在何方？
相似文章
Attention Is All You Need
对里程碑式论文《Attention Is All You Need》的反思，着重说明了如何通过去除循环并完全依赖注意力机制彻底改变了人工智能，并催生了像GPT和Claude这样的现代大语言模型。
@reach_vb：Attention 真的是你所需要的一切
一条趣味推文，引用了著名的 Transformer 论文《Attention Is All You Need》。
数学余波
OpenAI 宣布了一个由AI生成的 Navier-Stokes 存在性和光滑性问题的解，引发了关于AI在数学中的作用以及数学是否仅仅关于问题解决的辩论。
@antoniolupetti: 《理解Transformer与注意力机制》是一篇非常有趣的论文，它从应用数学的角度介绍了Transformer架构…
一条推文重点介绍了一篇由Michel Fabrice Serret撰写的arXiv论文，该论文从应用数学的角度介绍了Transformer和注意力机制，涵盖了向量化、多头注意力以及降低注意力成本的方法，如KV缓存和Latent Attention。
确定性就是你所需
本文介绍了一种利用确定性在Transformer模型中的新方法，基于'Attention Is All You Need'的范式。