论文页面 - 趋同演化：不同语言模型如何学到相似的数字表征

来源：https://huggingface.co/papers/2604.20817

摘要

Transformers 及其他语言模型在傅里叶域中表现出周期性数字表征，部分模型还能形成几何可分的特征，从而线性地对“模 T”数字进行分类，但仅凭傅里叶稀疏性不足以实现这种可分性。

在自然文本上训练的语言模型，会以周期特征来表征数字，其主导周期为 T=2、5、10。本文发现这些特征存在“两层级”结构：尽管 Transformers、Linear RNNs、LSTMs 以及经典词嵌入等不同架构、不同训练方式的模型，都会在傅里叶域学到周期-T 尖峰，但只有部分模型能进一步形成几何可分特征，用于线性 mod-T 分类。为解释这一矛盾，我们证明：傅里叶域稀疏性是 mod-T 几何可分性的必要条件，却非充分条件。

实证上，我们探究了何种训练条件能孕育几何可分特征，发现数据、架构、优化器与分词器均起关键作用。尤其指出，模型可通过两条路径获得几何可分特征：

1. 从通用语言数据中的互补共现信号学习，包括文本-数字共现与跨数字交互；
2. 从多词元（而非单词元）加法任务中学习。

总体而言，我们的结果揭示了特征学习中的“趋同演化”现象：多种模型在不同训练信号下，竟学到相似的特征。

查看 arXiv 页面 (https://arxiv.org/abs/2604.20817)
查看 PDF (https://arxiv.org/pdf/2604.20817)
项目主页 (https://convergent-evolution.github.io/)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.20817)

在本地 agent 中获取该论文：

hf papers read 2604.20817

CLI 不是最新版？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型链接该论文

在模型 README.md 中引用 arxiv.org/abs/2604.20817，即可在此页面显示链接。

引用该论文的数据集 0

暂无数据集链接该论文

在数据集 README.md 中引用 arxiv.org/abs/2604.20817，即可在此页面显示链接。

引用该论文的 Spaces 0

暂无 Space 链接该论文

在 Space README.md 中引用 arxiv.org/abs/2604.20817，即可在此页面显示链接。

收录该论文的合集 1