论文页 - dRAE: 超球面码的表示自编码器

来源：https://huggingface.co/papers/2607.22148

摘要

在这项工作中，我们旨在对高维视觉表示进行离散化，以弥合与语言模型之间的鸿沟——这是一个非平凡挑战，因为现有的量化方法存在码本崩溃问题，在扩展时难以保持语义一致性。我们将根本原因归因于度量不匹配：标准欧几里得码本目标与表示空间的各向异性几何结构根本不一致，导致码本嵌入出现高方差幅度尺度和不均匀的角度分布，阻碍了可扩展性。为解决此问题，我们提出超球面量化（HSQ），通过角度路由将语义内容与特征幅度解耦，防止码分配被尺度而非语义所主导。由此产生的离散表示自编码器（dRAE）实现了高保真重建，同时保持了语义完整性，并支持可扩展的码本预算。大量实验表明，当词汇量扩展到131,072时，性能持续提升，同时实现100%的码本利用率、简化的训练流程，以及在理解和生成任务上的强劲表现。

查看 arXiv 页面 (https://arxiv.org/abs/2607.22148) 查看 PDF (https://arxiv.org/pdf/2607.22148) 项目页面 (https://drae-hsq.github.io/) GitHub3 (https://github.com/martian422/dRAE) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.22148)

在您的智能体中获取本论文：

hf papers read 2607\.22148

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型0

没有模型链接本论文

在模型 README.md 中引用 arxiv.org/abs/2607.22148 即可从本页面链接该论文。

引用本论文的数据集0

没有数据集链接本论文

在数据集 README.md 中引用 arxiv.org/abs/2607.22148 即可从本页面链接该论文。

引用本论文的空间0

没有空间链接本论文

在空间 README.md 中引用 arxiv.org/abs/2607.22148 即可从本页面链接该论文。

包含本论文的收藏集0

没有收藏集包含本论文

将本论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页面链接该论文。