论文页面 - 段落边界并非空白：压缩深度作为层次结构的特征

来源：https://huggingface.co/papers/2609.23551

摘要

标准位置编码将位置表示为一维阅读顺序坐标，但仅凭阅读顺序无法确定文本的层次结构。我们采用分层旋转位置编码（hRoPE），将段落、句子和词元索引表示为独立的通道，固定词元序列，对段落坐标p1进行干预，并通过词元距离精确估计器测量跨段落注意力。在所有语料库中，注意力相对于词元距离匹配的基线都被压缩，但仅凭压缩不足以诊断真实结构：架构相同、使用密度匹配随机标签的通道也被压缩，只是更浅层。真正区分真实结构的是压缩深度，它更大且依赖于语料库，而对照组则不然。通过比较八种仅依赖语料库的量与三种构念（词汇持久性、段落长度、基于嵌入的一致性），没有一种能完全复现深度跨语料库的排序，尽管基于嵌入的一致性最为接近。在我们的研究场景中，压缩深度（而非其位置）是真实段落结构的可重复特征。

查看 arXiv 页面 (https://arxiv.org/abs/2609.23551) 查看 PDF (https://arxiv.org/pdf/2609.23551) GitHub0 (https://github.com/ShuyangenFrance/hrope) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.23551)

引用本文的模型0

无模型关联本文 在模型 README.md 中引用 arxiv.org/abs/2609.23551 以从本页链接。

引用本文的数据集0

无数据集关联本文 在数据集 README.md 中引用 arxiv.org/abs/2609.23551 以从本页链接。

引用本文的 Spaces0

无 Space 关联本文 在 Space README.md 中引用 arxiv.org/abs/2609.23551 以从本页链接。

包含本文的收藏集0

无收藏集包含本文 将本文添加到收藏集 (https://huggingface.co/new-collection) 以从本页链接。