Transformer之药
摘要
对Transformer架构在大型语言模型之外广泛影响的反思,包括对语言学、遗传学和因果建模的潜在影响,并将其意义与哈伯-博世法相提并论。
我刚看了一个YouTube视频,它以通俗的方式讲解了Transformer背后的数学。我感觉自己过去十年像是生活在石头底下。我对AI的了解基本上停留在CNN(卷积神经网络)。当你理解了Transformer的含义后,会发现它的理论和实践意义如此深远,远不止当前对LLM的炒作:
* 在语言学中:它彻底粉碎了该领域许多主流观点,比如能指与所指的区分,语法似乎是从统计相关性中涌现的系统,而非与生俱来的。
* 在遗传学中:大多数单基因疾病的基因已广为人知。剩下的就是多基因疾病,例如大多数自身免疫性疾病或精神疾病。生物信息学可以将Transformer的力量与GWAS数据结合起来,绘制基因与疾病之间的复杂关系。
* 当Transformer与时间序列结合时,它们就不再只是相关引擎,而成为因果引擎。政府、大富豪和像Palantir这样的公司正在绘制供应链图,以预测危机、价格上涨和潜在战争。当把这些预测能力应用到人类行为上时,就非常接近《少数派报告》了。
当我试图在科学史上寻找影响力相当的事物时,唯一能想到的就是哈伯-博世法,它基本上定义了整个20世纪(肥料、炸弹、毒气……)。关于Transformer即将带来的革命,而公众似乎完全毫不知情,你有什么见解?
相似文章
基于Transformer的语言模型在垂直领域中的应用:架构、应用与批判性评估
对基于Transformer的语言模型的全面综述,涵盖架构、在医疗、金融、法律等垂直领域的应用,以及对计算成本、对齐和数据来源等权衡因素的批判性评估。
当Transformer学习"不可能"语言时,它们学到了什么?
本文研究Transformer语言模型如何学习具有非自然属性的'不可能'语言,发现虽然语法敏感性逐渐下降,但生成能力表现出显著失败,从而提出了未证实语言的链接假说。
大型语言模型是如何工作的(26分钟阅读)
详细讲解基于Transformer的大型语言模型的工作原理,涵盖分词、嵌入、注意力机制和下一个词元预测,无需复杂数学。
@v0xium: 我强烈推荐阅读Dan Jurafsky和James H. Martin的《Speech and Language Processing》中的Transformer章节…
推荐阅读Dan Jurafsky和James H. Martin的免费书籍《Speech and Language Processing》中的Transformer章节,这是理解LLM背后数学的最佳资源之一,并包含引用关于LLM预训练的解释。
我们正撞墙:试图强迫 Transformer 执行真正的逻辑 [D]
作者对行业依赖提示词工程和扩展规模来解决基于 Transformer 的大语言模型(LLM)逻辑推理缺陷表示沮丧,认为这些概率模型从根本上缺乏确定性逻辑的架构。