标签
一篇新的预印本显示,许多神经语言模型在语法性上表现出抽象表征分离,解决了关于测量模型语法知识时混杂因素的争论。
关于LLM harnesses的一种观点,追溯其起源至早期多步骤工具使用研究(如HotPotQA和GoldEn),并包含Christopher Potts对“仅靠LLM是否足够”这一争论的评论。
本文采用发展性方法研究神经语言模型(特别是Transformer)如何从人工语法中学习统计模式,发现它们首先获取全局抽象统计信息,然后学习局部依赖关系,并在早期出现过度泛化。