word-embeddings

标签

Cards List
#word-embeddings

@JeffDean:通过 @martin_casado 的推文我才知道这篇论文(最初在 2 月发布时我并没有看到)……

X AI KOLs Following ↗ · 昨天 缓存

Jeff Dean 分享并赞赏了一篇论文,该论文表明自然语言共现统计中的平移对称性决定了词嵌入和大语言模型内部表示的几何结构,并通过解析推导得出了与实证结果相吻合的流形几何结构。

0 人收藏 0 人点赞
#word-embeddings

@thesupermannx:乔姆斯基错了。加州大学伯克利分校和谷歌 DeepMind 的研究人员破解了人工智能领域最大的谜团之一。多年以…

X AI KOLs Timeline ↗ · 3天前 缓存

加州大学伯克利分校和谷歌 DeepMind 的研究人员表明,大语言模型内部发现的几何结构(日历月份构成的圆环、时间线、地图)也会出现在简单的 word2vec 嵌入中。他们认为,这种几何结构源于人类语言的“平移对称性”,而非模型规模。

0 人收藏 0 人点赞
#word-embeddings

用于文本分类的词嵌入可视图表示

arXiv cs.CL ↗ · 3天前 缓存

一篇预印本研究了在受控词汇量预算下,将自然可视图作为新闻主题分类的中间表示,结果表明,在所选词汇量充足的情况下,基于图的度特征在 AG News 基准上的表现可以达到或略微超过基于 BERT 的基线模型。

0 人收藏 0 人点赞
#word-embeddings

直言不讳:国会沟通中与选举公正性相伴的议题

arXiv cs.CL ↗ · 2026-10-28 缓存

本文使用历时词嵌入分析了2010—2025年的10,420份美国国会电子通讯,揭示民主党和共和党如何在日益分化的语义语境中使用相同的选举公正性词汇,其中“认证”等词语的两极分化程度不断加深,而“被操纵”/“被窃取”等表述则在2020年后进入话语体系。

0 人收藏 0 人点赞
#word-embeddings

基于 KAN 的嵌入层压缩非线性分解方法

arXiv cs.CL ↗ · 2026-10-22 缓存

提出了一种基于Kolmogorov–Arnold Networks(KAN)的非线性投影方法来增强低秩分解,用于NLP嵌入层压缩,实验表明该方法在固定维度下能生成更忠实的压缩嵌入。

0 人收藏 0 人点赞
#word-embeddings

如何用高维统计赢得一杯啤酒

Hacker News Top ↗ · 2026-09-26 缓存

本文探讨了一篇热门论文,该论文显示LLM对月份的嵌入在PCA空间中投影成圆形,具有循环Gram矩阵,并描述了一个实验,寻找表现出类似几何性质的看似随机的单词。

0 人收藏 0 人点赞
#word-embeddings

普通话中的重叠结构:通过分布语义学进行社会情感剖析

arXiv cs.CL ↗ · 2026-09-16 缓存

本研究使用词嵌入来分析中文普通话中的重叠结构,揭示了语义和语用分化,并验证了分布语义学在语言研究中的有效性。

0 人收藏 0 人点赞
#word-embeddings

针对各向异性校准WEAT:ZCA白化作为嵌入关联测试的几何预处理步骤

arXiv cs.CL ↗ · 2026-08-10 缓存

本文提出将ZCA白化作为WEAT的几何预处理步骤,以解决嵌入各向异性问题,结果表明校准会改变超过30%结果的显著性状态,未经校准的偏差测量可能不可靠。

0 人收藏 0 人点赞
#word-embeddings

Sparse Mutual Information Graph Averaging for Improving Random Indexing Embeddings

arXiv cs.CL ↗ · 2026-08-07 缓存

This paper studies using sparse PPMI graph averaging to refine Random Indexing embeddings, showing it improves accuracy on a fairytales analogy benchmark but trails neural baselines on text8 and SimLex-999.

0 人收藏 0 人点赞
#word-embeddings

语言模型语义空间中的关系几何

arXiv cs.CL ↗ · 2026-07-30 缓存

本文探讨了语义关系如何编码在语言模型语义空间的几何结构中,发现非对称关系占据不同区域,且对于因果模型,词汇信息更为重要,而对于掩码和扩散模型,上下文信息更为重要。

0 人收藏 0 人点赞
#word-embeddings

标准词嵌入属性的实证研究

arXiv cs.CL ↗ · 2026-07-28 缓存

本文综述了词嵌入计算的各种机制,研究了流行的工具包和嵌入矩阵,并通过选定的实现进行实验以理解其特性。

0 人收藏 0 人点赞
#word-embeddings

共享语义空间中的心理构念

arXiv cs.CL ↗ · 2026-05-27 缓存

本文提出一个框架,利用监督语义微分法将心理构念表示为共享词嵌入空间中的方向,从而实现不同测量工具和研究传统之间的比较。

0 人收藏 0 人点赞
#word-embeddings

阴谋论的语义结构与演变测量

arXiv cs.CL ↗ · 2026-04-20 缓存

本论文使用来自 r/politics 的 169.9 百万条 Reddit 评论(2012-2022),测量了阴谋论的语义结构和演变,引入了由语义邻域界定的"语义对象"概念,以追踪阴谋论的含义如何随时间变化,超越了简单的关键词方法。

0 人收藏 0 人点赞
#word-embeddings

半监督文本分类的对抗训练方法

OpenAI Blog ↗ · 2016-05-25 缓存

本文提出了针对文本分类的对抗训练和虚拟对抗训练方法,通过在RNN中对词嵌入而非原始输入施加扰动来实现。该方法在半监督和监督文本分类基准上取得了最先进的结果,同时降低了过拟合。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈