@lforlasagna: 新预印本!(与@najoungkim合作)语法性是否是NLM表征的主要组织原则?我们展示了许多 …

X AI KOLs Following 论文

摘要

一篇新的预印本显示,许多神经语言模型在语法性上表现出抽象表征分离,解决了关于测量模型语法知识时混杂因素的争论。

🦀新预印本!(与@najoungkim合作)🦞 语法性是否是NLM表征的主要组织原则?我们展示了许多NLM在语法性上表现出抽象表征分离。我们相信这项工作解决了关于测量模型语法知识时混杂因素的争论。 [1/10] https://t.co/T3Vwgx96zy
查看原文
查看缓存全文

缓存时间: 2026/09/19 19:07

🦀新预印本发布!(与@najoungkim合作)🦞 语法性是否是神经语言模型表征的主要组织原则?我们发现许多神经语言模型在语法性上表现出抽象表征的分离。本研究旨在解决关于模型语法知识测量混淆因素的争论。[1/10]

字符串概率虽可作为语法区分的标记(通过一致分配p(语法)>p(非语法)),但概率编码的信息远不止语法性!即便在最小对立对设置中,它们在局部概率、合理性等维度上仍存在差异。[2/10]

我们证明语法区分存在于多种高容量模型的句子表征空间中,并可通过低复杂度线性探针检测。这些特征: -跨语言现象乃至不同语言具有泛化性 -与字符串概率解耦 -区别于其他句子级混淆因素[3/10]

通过在一种(或多种混合)语法现象上训练探针并测试其他现象,我们发现存在跨现象的强泛化性。类似关系也存在于不同语言间。[4/10]

当然,句子表征能编码的信息远不止语法性。我们在探针训练中交叉字符串概率与语法性变量,发现表征分离由语法性而非概率驱动。[5/10]

并非所有模型都呈现这种模式(我们也未发现全部符合)。目前来看参数数量影响显著,但这可能源于架构中影响参数规模的其他重要因素。[6/10]

明确的下一步研究是:探究何种数据/架构条件下表征空间具有可检测性与泛化性,并将其与现有神经语言模型句法表征研究相结合。[7/10]

预印本链接在此:https://arxiv.org/abs/2607.15175 热烈欢迎反馈意见![8/10]

关于神经语言模型能否真正区分语法性仍存争议(Dentella等人,Hu等人2023)。我们认为本研究采用的方法为神经语言模型语法知识研究提供了互补视角,为相关争论带来新思考。

推荐相关研究:Wang等人(2026) https://arxiv.org/abs/2605.05197 及 Kryvosheieva等人(2025) https://arxiv.org/abs/2512.03676。 该领域正涌现诸多精彩研究,本次项目合作让我获益良多![9/9]

相似文章

语言、语言模型与我们正在讨论的内容

arXiv cs.CL

本文将语言模型视为语言产物,使用意大利模型来探究其训练过程,并质疑其对语言的表征。文章主张在自然语言处理中区分技术产品和研究工具。