通过语言表征塑造图式:拓展LLM智能的下一前沿
摘要
本文指出,设计先进的语言表征以塑造认知图式,是在不扩展参数规模的前提下拓展LLM智能的关键前沿。文章提供了形式化定义与实证证据,表明不同的语言结构会显著影响模型性能与内部特征激活。
查看缓存全文
缓存时间: 2026/05/12 10:53
论文页面 - 通过语言表示塑造图式:扩展 LLM 智能的下一前沿
来源:https://huggingface.co/papers/2605.09271
摘要
语言表示设计显著影响大语言模型的性能和内部特征激活,为在不进行规模扩展或参数修改的情况下增强模型智能提供了一条有前景的研究方向。
尽管自然语言是 大语言模型 (LLMs) 的默认媒介,但其有限的表达能力为复杂问题解决创造了深层次的瓶颈。虽然人工智能的最新进展在很大程度上依赖于规模扩展,但仅仅内化知识并不能保证其有效应用。本文将 语言表示 定义为用于映射和建模现实世界的语言和符号结构,并认为通过先进的 语言表示 塑造 图式 (Schema) 是扩展 LLM 智能的下一个前沿。我们认为,LLM 的 知识激活 和组织——即其 图式 ——很大程度上取决于用于表示给定任务的语言的结构和符号复杂度。本文既提供了这一主张的形式化定义,也提供了支持它的实证证据。借助一种新的形式化方法,我们提出了多条证据来支持我们的立场:首先,我们回顾了最近的 实证实践 和 新兴方法论,这些表明即使不修改模型参数或规模,也可以通过深思熟虑的 语言表示 设计实现显著的性能提升。其次,我们进行了 受控实验,表明在相同底层任务的不同 语言表示 下,LLM 性能及其 内部特征激活 会发生变化。综上所述,这些发现凸显了 语言表示 设计作为未来研究的一个有前途的方向。
查看 arXiv 页面 (https://arxiv.org/abs/2605.09271) 查看 PDF (https://arxiv.org/pdf/2605.09271) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.09271)
在您的 Agent 中获取此论文:
hf papers read 2605\.09271
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
没有模型链接到此论文
在模型 README.md 中引用 arxiv.org/abs/2605.09271 即可从此页面链接。
引用此论文的数据集 0
没有数据集链接到此论文
在数据集 README.md 中引用 arxiv.org/abs/2605.09271 即可从此页面链接。
引用此论文的 Spaces 0
没有 Space 链接到此论文
在 Space README.md 中引用 arxiv.org/abs/2605.09271 即可从此页面链接。
包含此论文的收藏集 0
没有收藏集包含此论文
将此论文添加至 收藏集 即可从此页面链接。
相似文章
大语言模型中涌现模块化认知架构
本文研究模块化认知架构是否在大语言模型中涌现,发现大语言模型发展出专门化的神经网络,反映了人脑在认知领域的组织结构,表明模块化是智能系统的一个基本属性。
LLM神经解剖学第三部分 - LLMs似乎以几何而非语言思考
研究人员分析了LLMs在8种语言和多个模型中的内部表示,发现概念思考发生在transformer中间层的几何空间中,且与输入语言无关,这支持了类似于乔姆斯基理论的普遍深层结构假说,而非萨丕尔-沃尔夫语言相对论。
语言作为设计的潜在空间
本文探讨了人类语言是一种设计的潜在空间,它将推理约束为模式匹配和符号操作,并论证了LLM无法创造新语言来解决现有语言之外的问题。
从信号到结构:记忆架构如何驱动LLM智能体中的语言涌现
这篇论文研究了记忆架构如何影响玩刘易斯信号游戏的LLM智能体中语言的涌现,发现持久化的私有笔记本记忆优于无状态智能体,并防止高容量崩溃。
从发现到设计:概念作为大型语言模型的设计轴心
本文主张应将大型语言模型中的概念视为一个设计轴心,沿着流水线阶段和基础维度映射设计空间,并提出从事后恢复概念转向设计明确的概念表示。