生成式推荐中的难度感知语义ID优化

# 面向生成式推荐的难度感知语义ID优化  
来源：https://arxiv.org/html/2608.20611  
Stephen Li、Sina Aghaei、Zifan Zhu、Jiamu Bai、Guanjie Huang、Bo Peng、Yiyao Liu、Lingzhou Xue  

###### 摘要  
基于语义ID的生成式推荐将检索与排序过程转化为基于层级化项目标识符的自回归生成。主流方案通常采用监督微调（SFT）结合群组相对策略优化（GRPO），但传统GRPO方法在处理这种树结构任务时存在明显缺陷。在冻结的SFT模型上，对50束约束排序中前16个候选结果进行分析发现，许多提示词下均未包含目标匹配项；更复杂的情况是，这些候选结果甚至未进入目标语义ID分支。这种提示词层面的诊断揭示了一个训练难题：当在策略GRPO分组中普遍缺失目标时，即使部分候选结果匹配了目标路径的某段，项目级奖励仍可能产生微弱或退化的奖励差异。  

为此，我们提出难度感知语义ID优化（DASO），一种树结构感知的后训练方法，将上述缺陷建模为在线轨迹分配问题。DASO摒弃了固定难度分箱或均匀注入真值补全的传统做法，转而通过前缀匹配深度分析当前轨迹分组，定位候选结果偏离目标路径的瓶颈语义ID层级，并将有限比例的分组重分配至前缀引导补全，同时保留原始轨迹作为对比样本。SID前缀奖励提供分层信用评估，辅助SFT锚点则缓解SFT模型已解决问题上的性能回退。在公开基准测试中，DASO在12项指标中的11项上优于MiniOneRec风格的GRPO，并在9项指标上达到最优；在内部推荐任务中也提升了多数层级召回指标。  

代码：https://github.com/LucasXinYu/DASO  
††单位：Meta  
††单位：宾夕法尼亚州立大学  
††日期：2026年8月  
††通讯作者：Lingzhou Xue ([[email protected]](mailto:[email protected]))  
本文完成于Xin Yu在Meta实习期间  

## 引言  
生成式推荐为传统分离式检索与排序的推荐流程提供了端到端替代方案。该范式不依赖固定候选集评分，而是直接从用户上下文中生成目标项目。基于语义ID的生成范式通过将每个项目表示为离散语义令牌的短序列，使该范式得以实用化，将推荐问题转化为自回归式项目ID生成（[20]）。这一理念支撑了从TIGER风格的语义标识符到OneRec/OneRec-V2等工业部署，以及MiniOneRec等结合语义ID构建、监督微调（SFT）、约束解码和推荐导向强化学习的开源流水线（[7][33][34][14]）。  

然而，这种后训练配方暴露了结构性难度不匹配问题。GRPO通过比较同一提示词的多个轨迹来估算优势值，仅当轨迹组呈现有意义的奖励差异时才有效。在冻结SFT模型的诊断分析中，50束约束排序的前16个候选结果在52.5%–63.9%的公开测试提示词中未包含首个令牌匹配项。在MiniOneRec奖励机制下，即使部分候选结果已匹配目标SID路径的某段，此类分组仍可能坍缩为相同的零奖励。在类似的在策略轨迹分组中，传统GRPO可能无法区分部分前缀匹配与无前缀失败的情况，导致学习信号在最需后训练干预的目标缺失提示词上变得微弱甚至退化。  

图[1]（https://arxiv.org/html/2608.20611#Sx1.F1）总结了我们用于解决该问题的轨迹工作流程。  

**图1：DASO工作流程**。对于每个提示词，DASO采样原始轨迹，构建M层前缀深度分布，将有限比例重分配至瓶颈引导补全，并应用奖励标准化与GRPO。面板展示了不同目标缺失场景的示例：包括无前缀失败和部分前缀情况，二者采用相同规则处理。辅助SFT锚点减少了精确匹配案例的性能回退。  

我们提出**难度感知语义ID优化（DASO）**以解决该信号分配问题。语义ID GRPO的有效干预需满足三个要求：1）为目标缺失提示词引入目标路径信号；2）保留足够原始轨迹用于组间比较；3）避免损害SFT模型已解决的样本。DASO通过约束轨迹重分配实现这些目标：在每个强化学习步骤中采样原始分组，基于M层SID树构建前缀深度分布，该分布量化当前策略对目标路径的遵循程度并识别轨迹最常偏离的深度层。随后仅将有限比例的分组重分配至瓶颈深度的前缀引导补全，同时保留最优原始轨迹作为在策略对比样本。为限制引导前缀引入的分布偏移，DASO还添加了基于真值SID序列的监督锚点，既改善目标缺失案例，又减少精确匹配样本的性能回退。  

我们的贡献总结如下：  
- **诊断冻结SFT模型下的目标路径覆盖缺口**：超过50%的公开测试提示词在50束约束排序的前16个候选结果中未包含首个令牌匹配项。这种提示词层面的缺口揭示了项目级GRPO奖励易产生微弱或退化对比的目标缺失场景。  
- **提出DASO树感知GRPO后训练方法**：结合在线前缀深度分析、瓶颈感知约束轨迹分配、SID前缀信用评估及辅助SFT锚点。该设计平衡了引导强度与深度选择，同时保留原始轨迹用于GRPO对比。  
- **实证验证DASO的综合推荐质量提升**：在两个亚马逊品类、两个Qwen骨干网络和内部四级SID任务中，诊断结果显示其对初始部分前缀/无前缀提示词提升最为显著，消融实验与在线分析、SID前缀信用、引导预算选择和SFT锚定的作用一致。  

## 相关工作  
### 基于语义ID的生成式推荐  
推荐系统已从协同过滤、矩阵分解与成对排序（[15][21]），发展至采用循环、注意力、卷积和自注意力架构编码有序用户行为的序列模型（[10][16][25][13][24]）。近期，基于大语言模型的推荐系统探索了文本到文本预测、可扩展序列转换、语言-项目对齐、协作语义索引以及解码时修正/个性化（[8][30][2][32][3][29]）。这些发展使生成成为可行的推荐接口，但多数仍依赖文本对齐、候选映射或解码时控制，而非直接塑造语义ID轨迹分布。  

基于语义ID的生成式检索将每个项目表示为离散标识符序列，训练推荐器在约束解码下生成有效标识符，将推荐与早期实体/文档生成工作关联（[6][26][4]）。TIGER证明层级化语义ID可支持下一项生成与冷启动项目泛化（[20]）；OneRec及其技术报告、OneRec-V2在工业环境中研究了带偏好对齐的端到端生成式推荐（[7][33][34]）；MiniOneRec则提供了涵盖SID构建、SFT、约束解码和GRPO训练的开源流水线（[14]）。OneRec-Think和SIDReasoner进一步研究了显式推理的项目令牌/SID对齐（[17][9]）。本研究同样在该语义ID框架下展开，但聚焦于当轨迹组缺失目标项目甚至正确SID分支时，如何使强化学习阶段保持有效性。  

### 面向推荐的引导轨迹与GRPO  
相关研究关注当当前策略极少采样成功轨迹时，如何使强化学习有效。LUFFY将策略强化学习与专家引导轨迹混合，BREAD从部分专家锚点分支轨迹，Prefix-RFT在自主生成前使用示范前缀（[27][31][11]）。这些方法表明，部分引导能稀疏奖励稠密化并改善组内比较。在语义ID推荐中，相同的探索问题受SID树结构影响。策略梯度方法如PPO和GRPO提供优化骨架（[22][23]）；Rank-GRPO将GRPO适配于带排名信用的对话推荐（[35]）；V-STAR与Sibling-GRPO共同研究值引导结构化采样用于语义ID生成（[12]）。相较于该方向，DASO聚焦于不同但相关的问题：给定当前轨迹组与目标SID，确定引导强度与引导深度，使GRPO获得有效奖励对比，同时避免用完全教师强制替代策略优化或将精确项目预测设为主要目标。  

### 面向稳定策略优化的监督正则化  
RLHF系统通常从SFT初始化，并用参考模型KL散度约束策略更新以限制偏移与奖励过优化（[5][36]）。InstructGPT表明在PPO训练期间注入监督式或预训练梯度可减少通用能力回退（[18]）。近期研究探讨了超越纯KL匹配的奖励正则化自蒸馏，以及生成模型中的列表偏好优化（[28][1]）。推荐领域GenRec同样将GRPO与负对数似然正则化及混合奖励结合以稳定偏好导向生成（[37]）。DASO针对语义ID特定缺陷采用相同动机：前缀引导轨迹为无精确匹配的分组恢复信号，而监督锚定帮助减少SFT模型已解决问题的性能回退。  

## 基础知识  
### 语义ID分词与生成  
基于语义ID的推荐将每个目录项目$v$表示为离散语义令牌序列 $s(v)=(s_1(v), s_2(v), \ldots, s_M(v))$，其中$s_{\ell}(v) \in \{1, \ldots, C_{\ell}\}$。$M$为SID深度，$C_{\ell}$为第$\ell$层码本大小。SID分词器在推荐器后训练前训练并固定。现有系统通过残差向量量化或残差量化变分自编码器（RQ-VAE）对项目表征构建此类标识符（[20][14]），亦采用协作或语言感知向量量化实现平衡无冲突分配（[32]）。理想情况下，相关项目共享高层前缀，输出空间形成从粗到细的语义树。在此树结构索引中，前缀$s_{1:j}=(s_1, \ldots, s_j)$对应深度$j$处的节点，$s_{<\ell}$表示第$\ell$层前的令牌。解码时，基于有效目录SID的前缀树约束语言模型仅生成有效项目标识符。  

给定用户上下文$x$，目标SID记为$s^{\star}=(s_1^{\star}, \ldots, s_M^{\star})$。生成式推荐策略$\pi_{\theta}$自回归预测候选SID：$\hat{s}=(\hat{s}_1, \ldots, \hat{s}_M) \sim \pi_{\theta}(\cdot \mid x)$，其中$\pi_{\theta}(\hat{s} \mid x)=\prod_{\ell=1}^{M} \pi_{\theta}(\hat{s}_{\ell} \mid x, \hat{s}_{<\ell})$，$\hat{s}_{<\ell}$表示先前生成的SID令牌。生成的SID通过固定SID-项目索引解析为项目。由于SID具有层级性，部分匹配具有意义。我们使用前缀匹配深度分数$\bm{m}(\cdot, \cdot)$衡量生成SID与目标SID的最长匹配前缀：$\bm{m}(\hat{s}, s^{\star})=\max\{j \in \{0, \ldots, M\}: \hat{s}_{1:j}=s^{\star}_{1:j}\}$。高层SID令牌的早期失配会将解码路由至错误子树，使后续令牌难以恢复目标项目。这种前缀级结构是DASO前缀深度分布与SID前缀奖励的基础。  

### 群组相对策略优化  
群组相对策略优化（GRPO）是语言模型后训练中PPO的无评论家变体（[22][23]）。它不学习价值函数，而是通过比较同一提示词采样的多个响应来估算优势值。在强化学习更新步$t$，轨迹策略$\pi_t$采样一组$G$个语义ID补全：$\mathcal{G}^{(t)}(x)=\{\hat{s}^{(1)}, \ldots, \hat{s}^{(G)}\}$，其中$\hat{s}^{(i)} \sim \pi_t(\cdot \mid x)$。每个补全获得标量奖励...