标签
Jeff Dean 分享并赞赏了一篇论文,该论文表明自然语言共现统计中的平移对称性决定了词嵌入和大语言模型内部表示的几何结构,并通过解析推导得出了与实证结果相吻合的流形几何结构。
加州大学伯克利分校和谷歌 DeepMind 的研究人员表明,大语言模型内部发现的几何结构(日历月份构成的圆环、时间线、地图)也会出现在简单的 word2vec 嵌入中。他们认为,这种几何结构源于人类语言的“平移对称性”,而非模型规模。
一篇预印本研究了在受控词汇量预算下,将自然可视图作为新闻主题分类的中间表示,结果表明,在所选词汇量充足的情况下,基于图的度特征在 AG News 基准上的表现可以达到或略微超过基于 BERT 的基线模型。
本文使用历时词嵌入分析了2010—2025年的10,420份美国国会电子通讯,揭示民主党和共和党如何在日益分化的语义语境中使用相同的选举公正性词汇,其中“认证”等词语的两极分化程度不断加深,而“被操纵”/“被窃取”等表述则在2020年后进入话语体系。
提出了一种基于Kolmogorov–Arnold Networks(KAN)的非线性投影方法来增强低秩分解,用于NLP嵌入层压缩,实验表明该方法在固定维度下能生成更忠实的压缩嵌入。
本文探讨了一篇热门论文,该论文显示LLM对月份的嵌入在PCA空间中投影成圆形,具有循环Gram矩阵,并描述了一个实验,寻找表现出类似几何性质的看似随机的单词。
本研究使用词嵌入来分析中文普通话中的重叠结构,揭示了语义和语用分化,并验证了分布语义学在语言研究中的有效性。
本文提出将ZCA白化作为WEAT的几何预处理步骤,以解决嵌入各向异性问题,结果表明校准会改变超过30%结果的显著性状态,未经校准的偏差测量可能不可靠。
This paper studies using sparse PPMI graph averaging to refine Random Indexing embeddings, showing it improves accuracy on a fairytales analogy benchmark but trails neural baselines on text8 and SimLex-999.
本文探讨了语义关系如何编码在语言模型语义空间的几何结构中,发现非对称关系占据不同区域,且对于因果模型,词汇信息更为重要,而对于掩码和扩散模型,上下文信息更为重要。
本文提出一个框架,利用监督语义微分法将心理构念表示为共享词嵌入空间中的方向,从而实现不同测量工具和研究传统之间的比较。
本论文使用来自 r/politics 的 169.9 百万条 Reddit 评论(2012-2022),测量了阴谋论的语义结构和演变,引入了由语义邻域界定的"语义对象"概念,以追踪阴谋论的含义如何随时间变化,超越了简单的关键词方法。
本文提出了针对文本分类的对抗训练和虚拟对抗训练方法,通过在RNN中对词嵌入而非原始输入施加扰动来实现。该方法在半监督和监督文本分类基准上取得了最先进的结果,同时降低了过拟合。