标签
本文提出将残差量化（RQ）作为上下文赌博机的表示层，通过基于梯度提升的伪目标实现非线性奖励建模，并借助影子机制进行在线深度调整，在严格 O(1) 内存约束下运行。该方法在 13 个数据集中的 11 个上优于非 RQ 方案，同时在内存占用减少高达 1000 倍的情况下，仍能与 XGBoost 和神经网络基线相媲美。
PRQ-KMeans是一种事后分词方法，通过移除全局均值成分、优化质心并使用投影残差来改进语义ID的残差量化，在工业搜索和公开推荐基准测试中实现了显著的性能提升。
提出了递归残差量化（RRQ），这是一种训练后量化框架，通过加法式残差细化，从单个LLM检查点获得多种有效精度，从而提高了灵活性和构建速度。
ContextRAG引入了一种无抽取方法，用于构建面向检索增强生成的层次图索引。该方法利用残差量化K均值（Residual-Quantization K-Means）和形式概念分析（Formal Concept Analysis），将大语言模型（LLM）调用和Token数量减少数个数量级，同时在多跳问题上保持具有竞争力的F1分数。