词汇共识:人工智能体中的具象词汇学习与共享意义
摘要
本文介绍了词汇共识,一个研究人工智能体如何利用视觉嵌入和词汇学习者获得并稳定具象词汇意义的框架,发现感知距离而非语义相关性驱动习得成功。
查看缓存全文
缓存时间: 2026/07/01 15:43
论文页面 - 词汇共识:人工智能体中的具身词汇学习与共享意义
来源:https://huggingface.co/papers/2606.22207
摘要
使用视觉嵌入和词汇学习器进行的具身词汇学习实验表明,感知距离(而非语义相关性)决定了习得成功率,且在命名和检索任务中呈现出截然不同的模式。
人工智能系统通常通过任务绩效和行为模仿来评估,但这种评估方式无法明确一个智能体能否从具身体验中习得、稳定并运用新的词汇意义。本文提出了词汇共识框架,这是一个在结构化感知基板上研究具身词汇学习的实验体系。利用冻结DINOv2(https://huggingface.co/papers?q=DINOv2)视觉嵌入、卡罗尔式生造词(https://huggingface.co/papers?q=nonce%20words)以及可解释的词汇学习器(https://huggingface.co/papers?q=lexical%20learners)加线性基线,我们测试了智能体能否习得视觉概念的人工标签、双向泛化这些标签,并在受控环境中稳定它们。主要结果是一个稳健的感知连贯性梯度:原生类别最容易学习,连贯性过度扩展仍可学习,中等范围析取概念性能下降,而远距离析取概念则趋近随机水平。一个预注册的CIFAR-100分离实验证实,该梯度由感知距离(https://huggingface.co/papers?q=perceptual%20distance)而非语义相关性主导:感知距离(https://huggingface.co/papers?q=perceptual%20distance)可预测习得准确率(偏R² = 0.245,p < 1e-7),而语义距离(https://huggingface.co/papers?q=semantic%20distance)无显著解释力(偏R² = 0.002,p = 0.660)。双向评估表明,命名和检索是截然不同的能力:基于样例的机制(https://huggingface.co/papers?q=exemplar-based%20mechanisms)在标签到图像检索(https://huggingface.co/papers?q=label-to-image%20retrieval)中优于质心原型(https://huggingface.co/papers?q=centroid%20prototypes),揭示了与命名准确率独立的一个记忆保真度维度。伪造对照、同质候选池评估以及表征重构(https://huggingface.co/papers?q=representational%20restructuring)的无效结果均表明,冻结的感知几何既支持词汇落地,也限制了在无表征适应情况下所能习得的内容。
查看 arXiv 页面 (https://arxiv.org/abs/2606.22207)查看 PDF (https://arxiv.org/pdf/2606.22207)项目页面 (https://gist.science/paper/2606.22207)GitHub (https://github.com/patriciomvera/lexical-consensus)添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.22207)
在您的智能体中获取这篇论文:
hf papers read 2606.22207
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用该论文的模型0
没有模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2606.22207 即可从此页面链接。
引用该论文的数据集0
没有数据集链接此论文
在数据集 README.md 中引用 arxiv.org/abs/2606.22207 即可从此页面链接。
引用该论文的 Space0
没有 Space 链接此论文
在 Space README.md 中引用 arxiv.org/abs/2606.22207 即可从此页面链接。
包含该论文的收藏集0
没有包含该论文的收藏集
将此论文添加至收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。
相似文章
大语言模型在未知环境中协调的词汇发现
提出神经符号词汇发现(NSLD)框架,其中基于LLM的智能体在未知环境中自主为未知视觉指代物开发共享词汇,从而为自主探索任务的部署前规划提供支持。
多智能体种群中有根据的组合语言的出现
# 多智能体种群中有根据的组合语言的出现 来源: [https://openai.com/index/emergence-of-grounded-compositional-language-in-multi-agent-populations/](https://openai.com/index/emergence-of-grounded-compositional-language-in-multi-agent-populations/) ## 摘要 通过捕捉大型语料库中的统计模式,机器学习在自然语言处理领域取得了重大进展,包括在机器翻译、问答和情感分析方面的应用
学习交流
OpenAI研究人员演示了协作型AI代理可以通过在简单世界中进行强化学习,发展出自己的有根据的和组合型语言。这些代理通过获得需要协调的目标奖励来学习交流,创建共享的符号语言以协调行为。
论词汇性在大语言模型中的持续影响
本文研究了词汇重叠(而非语义内容)如何影响跨层和跨架构的大语言模型表示,并证明即使在为语义相似性训练的模型中,这种词汇效应依然存在,导致下游任务性能下降。
看见不等于共享:一些视觉语言模型在不对称对话中高估共同基础
本文研究了视觉语言模型中的一种偏差,即模型在对话中高估了共同理解,将感知访问与沟通基础相混淆。研究结果对对话系统和VLM评估具有启示意义。