Sona：在一次 A/B 测试中，一个 Transformer 替换了我们 15+ 个候选生成器、预排序和排序模型 [R]

Yandex Music 的生产推荐系统有 15+ 个候选生成器，为带有数百个特征的预排序和排序模型提供输入。大语言模型表明，一个端到端模型可以接管过去分散在多个专用组件中的工作，而单一模型的生成式推荐器已经将这一思路带入生产环境。我们开始探索单一模型推荐器在音乐领域能做到什么。结果就是 Sona——一个 Transformer，在 A/B 测试中取代了所有这些组件。它尚未全量上线。 该模型可读取最多 8,192 个事件。对这么长的序列做全注意力开销很大，因此我们使用了称为 History Compression 的方法，将推理成本大约减半。我们将历史拆分为较早的 6,144 个事件和最近的 2,048 个事件。两个部分通过 cross-attention 和一层全历史的 self-attention 进行信息交换。之后，一个 7 层的模块仅在最近的 2,048 个事件上运行。它保留了全注意力的大部分质量，较早的事件对解码器和 Ranking Module 依然可见。解码器和 Ranking Module 读取相同的编码器输出，因此每个请求编码器只需运行一次。候选通过 beam search 以 Semantic ID 的形式产出，并立即进行打分。 在 Yandex Music 智能音箱上进行的最终 A/B 测试中（7 天，每个实验组 15% 用户），与生产基线相比，Sona 的活跃用户提升 +4.53%，总收听时长提升 +6.30%，两者在 p < 0.01 水平上均显著。目录覆盖率低于现有生产系统，我们会进一步探究原因。目前长期 A/B 测试正在进行中。表 7.7 提供了全注意力与 History Compression 的消融实验结果。 https://arxiv.org/abs/2608.11015