@lforlasagna: 新预印本!(与@najoungkim合作)语法性是否是NLM表征的主要组织原则?我们展示了许多 …
摘要
一篇新的预印本显示,许多神经语言模型在语法性上表现出抽象表征分离,解决了关于测量模型语法知识时混杂因素的争论。
查看缓存全文
缓存时间: 2026/09/19 19:07
🦀新预印本发布!(与@najoungkim合作)🦞 语法性是否是神经语言模型表征的主要组织原则?我们发现许多神经语言模型在语法性上表现出抽象表征的分离。本研究旨在解决关于模型语法知识测量混淆因素的争论。[1/10]
字符串概率虽可作为语法区分的标记(通过一致分配p(语法)>p(非语法)),但概率编码的信息远不止语法性!即便在最小对立对设置中,它们在局部概率、合理性等维度上仍存在差异。[2/10]
我们证明语法区分存在于多种高容量模型的句子表征空间中,并可通过低复杂度线性探针检测。这些特征: -跨语言现象乃至不同语言具有泛化性 -与字符串概率解耦 -区别于其他句子级混淆因素[3/10]
通过在一种(或多种混合)语法现象上训练探针并测试其他现象,我们发现存在跨现象的强泛化性。类似关系也存在于不同语言间。[4/10]
当然,句子表征能编码的信息远不止语法性。我们在探针训练中交叉字符串概率与语法性变量,发现表征分离由语法性而非概率驱动。[5/10]
并非所有模型都呈现这种模式(我们也未发现全部符合)。目前来看参数数量影响显著,但这可能源于架构中影响参数规模的其他重要因素。[6/10]
明确的下一步研究是:探究何种数据/架构条件下表征空间具有可检测性与泛化性,并将其与现有神经语言模型句法表征研究相结合。[7/10]
预印本链接在此:https://arxiv.org/abs/2607.15175 热烈欢迎反馈意见![8/10]
关于神经语言模型能否真正区分语法性仍存争议(Dentella等人,Hu等人2023)。我们认为本研究采用的方法为神经语言模型语法知识研究提供了互补视角,为相关争论带来新思考。
推荐相关研究:Wang等人(2026) https://arxiv.org/abs/2605.05197 及 Kryvosheieva等人(2025) https://arxiv.org/abs/2512.03676。 该领域正涌现诸多精彩研究,本次项目合作让我获益良多![9/9]
相似文章
解耦语言模型避免过度泛化中的统计先占与固化
本文通过控制实验解耦了语言模型在避免过度泛化中的统计先占与固化,发现语言模型表现出抽象先占而非特定动词的先占,这对人类语言学习有启示意义。
@stanfordnlp: .@stanfordnlp毕业生在工作中!
Stanford NLP毕业生强调研究表明,语言模型无论规模或模态如何,都容易在不常见场景中过度自信并忽略细节。
语言模型知道不该说什么吗?LLMs中统计抢占的因果证据
本文提供了因果证据,表明大型语言模型通过微调操纵竞争形式频率,能够获得统计抢占(构式语法中的一种机制)所涉及的负面语言知识(即不该说什么),且行为变化符合预测方向。
语言、语言模型与我们正在讨论的内容
本文将语言模型视为语言产物,使用意大利模型来探究其训练过程,并质疑其对语言的表征。文章主张在自然语言处理中区分技术产品和研究工具。
@stanfordnlp:在大语言模型时代,仍有使用细致语言学的机会!
斯坦福NLP宣布,一篇题为《大语言模型中的未完成体悖论》的语言学视角NLP论文在ACL 2026上获得最佳论文奖,鼓励对大语言模型进行更细致的语言学评估。