@incrementaliser：刚看完@ChrisGPotts 的一场精彩演讲——“在大型语言模型中寻找语言结构”，我现在完全相信……

X AI KOLs Following 事件
llm linguistic-structure neural-networks representation-learning cognitive-science

摘要

一条推文重点介绍了 Chris Potts 关于大型语言模型如何学习语言结构的演讲，进一步强化了 LLM 能够捕捉句法和语义的观点。

刚看完@ChrisGPotts 的一场精彩演讲——“在大型语言模型中寻找语言结构”，我现在深信 *LLM 确实在学习语言结构*。我想，对于神经符号模型（相比于……）的唯一论据是……
查看原文

相似文章

大语言模型中的语言习得装置

arXiv cs.CL

本文提出了一种受LAD启发的预预训练方法，使用一种名为MP-Struct的形式语言，该语言编码了类自然语言结构。研究表明，这种方法提高了token效率，并赋予了模型类似人类的对结构不合理语言的抵抗力，挑战了先前关于有效预预训练语言的假设。