foundational-research

David Ha和Jürgen Schmidhuber回顾了诸如Transformer、无监督预训练、知识蒸馏和残差网络等基础深度学习技术是如何在1991年的慕尼黑开创的，为当前的人工智能热潮奠定了基础。

讨论在没有高性能计算资源的情况下是否还能进行基础AI研究，考虑到像“Attention is all you need”这样的早期工作使用的是消费级GPU。