论文页面 - 知识-几何解耦：面向流式推荐的可刷新预训练迁移

来源：https://huggingface.co/papers/2608.02738 作者：

,

,

,

,

,

,

,

,

,

,

,

摘要

工业推荐系统越来越多地采用“预训练-然后-迁移”（pretrain-then-transfer）范式，但行为分布漂移带来了两个问题：从行为序列中学习什么，以及在预训练模型持续刷新时如何迁移所学知识。为解决这些问题，我们提出了知识-几何解耦（Knowledge-Geometry Decoupling，KGD）。关于学什么，传统的下一词元预测（next-token prediction）将相邻性视为依赖性，可能会在无关会话中编码虚假的转换。我们引入了行为多词元预测（Behavioral Multi-Token Prediction，BMTP），仅保留协作相关或语义相关的未来物品作为监督信号，从而产生更干净、更可迁移的行为知识。关于如何迁移，预训练知识和任务特定的几何结构对共享参数施加了相互冲突的优化需求。为处理这一点，KGD 将它们分配到独立的参数集：一个可刷新的编码器拥有行为知识，而任务学习器通过只读交叉注意力读取上下文化的编码器状态，并通过与预训练嵌入正交的锚定校准残差（Anchored Calibration Residual，ACR）写入任务特定的几何结构。这种解耦的所有权机制使得持续的知识刷新成为可能，而不会产生任务梯度干扰或使下游适配失效。KGD 在八个公开基准上相较于强预训练-迁移基线提升了 4-12%，并在 90 天的生产数据流上保持优势，而基线未见提升。KGD 已在 Shopee 全面部署。在 Shopee 首页搜索的在线 A/B 测试中，它将每用户 GMV 提升了 1.75%，广告收入提升了 1.53%，展示了其很高的实用价值。我们在 https://github.com/FuCongResearchSquad/KGD4REC 提供了 KGD 的核心实现。

查看 arXiv 页面 (https://arxiv.org/abs/2608.02738)查看 PDF (https://arxiv.org/pdf/2608.02738)GitHub0 (https://github.com/FuCongResearchSquad/KGD4REC)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.02738)

在您的 agent 中获取此论文：

hf papers read 2608\.02738

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.02738 即可从此页面链接到该模型。

引用此论文的数据集1

PIIR/KGD-dataset 查看器 • 更新于大约 1 小时前 • 18.1M • 21 (https://huggingface.co/datasets/PIIR/KGD-dataset)

引用此论文的 Spaces0

暂无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.02738 即可从此页面链接到该 Space。

包含此论文的收藏集0

暂无包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接到该收藏集。