Transformer之药

Reddit r/ArtificialInteligence 新闻

摘要

对Transformer架构在大型语言模型之外广泛影响的反思,包括对语言学、遗传学和因果建模的潜在影响,并将其意义与哈伯-博世法相提并论。

我刚看了一个YouTube视频,它以通俗的方式讲解了Transformer背后的数学。我感觉自己过去十年像是生活在石头底下。我对AI的了解基本上停留在CNN(卷积神经网络)。当你理解了Transformer的含义后,会发现它的理论和实践意义如此深远,远不止当前对LLM的炒作: * 在语言学中:它彻底粉碎了该领域许多主流观点,比如能指与所指的区分,语法似乎是从统计相关性中涌现的系统,而非与生俱来的。 * 在遗传学中:大多数单基因疾病的基因已广为人知。剩下的就是多基因疾病,例如大多数自身免疫性疾病或精神疾病。生物信息学可以将Transformer的力量与GWAS数据结合起来,绘制基因与疾病之间的复杂关系。 * 当Transformer与时间序列结合时,它们就不再只是相关引擎,而成为因果引擎。政府、大富豪和像Palantir这样的公司正在绘制供应链图,以预测危机、价格上涨和潜在战争。当把这些预测能力应用到人类行为上时,就非常接近《少数派报告》了。 当我试图在科学史上寻找影响力相当的事物时,唯一能想到的就是哈伯-博世法,它基本上定义了整个20世纪(肥料、炸弹、毒气……)。关于Transformer即将带来的革命,而公众似乎完全毫不知情,你有什么见解?
查看原文

相似文章