服务长尾：面向度假租赁市场的免训练LLM候选生成

# 无需训练的LLM候选项生成用于度假租赁市场
Source: https://arxiv.org/html/2607.09877
\(2018\)

###### 摘要。

度假租赁市场面临结构性的供应侧不平衡：少数房源获得绝大多数用户交互，而大量新增、小众和季节性房源产生的行为信号太少，导致协同过滤无法有效服务。在Vrbo，基于项目的k近邻（IBKNN）是核心候选项生成通道，但留下数万房源没有任何候选，并为交互稀疏的房源生成薄弱的邻域。我们提出一种无需训练的、基于LLM的候选项生成流水线，仅使用静态房源元数据即可补充IBKNN。一个现成的LLM为每个房源合成多样化的语义查询，一个预训练文本编码器对其进行嵌入，近似最近邻索引从1170万房源的目录中检索候选。*Union融合*策略将这些候选项与IBKNN合并，同时保留行为通道的排序，保证在已良好服务的房源上无退化，下游学习排序模型对融合池重新打分。在160万焦点房源上评估，该系统将候选覆盖范围扩展到IBKNN无法触及的数万房源，在行为方法最弱的长尾细分领域带来最大提升，且在每个K值上都与或优于IBKNN。下游学习排序阶段进一步提升融合池，形成一个完整的候选项生成与重排序栈，在服务长尾的同时不退化已良好服务的房源。我们还证明，Union融合将3B开源LLM与顶尖API模型之间27-46%的独立召回差距缩小到1%以下，支持在市场目录规模下自托管小模型部署。

候选生成、大语言模型、密集检索、冷启动、长尾推荐、双边市场、度假租赁、学习排序

††copyright:acmlicensed††journalyear:2018††doi:XXXXXXX.XXXXXXX††conference:Make sure to enter the correct conference title from your rights confirmation email; June 03–05, 2018; Woodstock, NY††isbn:978-1-4503-XXXX-X/2018/06††ccs:Information systems Recommender systems††ccs:Computing methodologies Learning to rank††ccs:Computing methodologies Natural language generation

## 1. 引言

像Vrbo这样的度假租赁市场，将寻找住宿的旅行者与在平台上发布房源的房东连接起来。每一次交互都涉及双方：旅行者期望推荐能帮助他们发现直接搜索之外的、相关的房源；而房东期望自己的房源无论列表年龄、季节性还是小众吸引力，都能获得公平的曝光。调和这两种期望是市场推荐的根本挑战，而这个挑战的解决——或不解决——位于候选项生成层，即决定哪些目录子集有资格被排序并展示给特定用户的上游组件。

在Vrbo，项目间的推荐为诸如“相似房源”轮播等界面提供支持，这些轮播会展示在焦点房源旁边。此任务现有的候选项生成栈由多个互补通道组成，其中基于项目的k近邻是核心通道。IBKNN通过用户在点击流中的行为共现对房源对进行评分，并辅以设施重叠。对于交互历史丰富的房源，它能在低计算成本下生成强健且紧密地理定位的邻域。然而，IBKNN继承了协同过滤的根本局限：新房源和新兴市场中的房源没有共现数据，完全无法被服务。长尾房源只有少量交互，产生嘈杂且不可靠的邻域；在我们的目录中，大约22%的房源每月收到的交互不超过五次，但它们累计占总交互量的比例不到1%。最后，语义相似但缺乏直接共现历史的房源对共现模式不可见，即使从用户角度看它们会是极佳的替代品。这些不仅是候选项生成层的召回缺口；它们直接转化为供应侧的*曝光不平衡*，即相同的热门房源不断被推荐，而长尾房源缺乏启动流行度所需的可见性。

为了解决上述问题，我们的方法是用一个完全不依赖行为信号的第二通道来补充IBKNN。我们将大语言模型视为*查询生成器*：仅利用房源的静态元数据，LLM合成一小组多样化自然语言搜索查询，从不同角度描述该房源提供的内容。这些查询由预训练的密集文本编码器编码，并发送到整个房源目录的近似最近邻索引；结果聚合后根据地理信息重新排序。得到的候选通过*Union融合*策略与IBKNN合并，该策略通过构造保留行为通道的排序，并用语义检索的替代候选填充剩余位置。下游学习排序模型对融合池重新打分。

#### 贡献。

本文做出以下贡献，旨在为构建双边市场候选项生成系统的从业者提供参考：

- •我们描述了一种*无需训练的、基于元数据的LLM候选项生成流水线*，配合下游学习排序阶段，在大规模（160万焦点房源，1170万房源目录）上进行评估。该流水线是无状态的，适用于任何具有可解析元数据的房源——包括交互历史为零的全新房源——且无需标注数据、无需微调、无需用户历史。
- •我们引入了*Union融合*，一种具有形式化召回保留保证的通道组合策略：对于每个焦点房源，在每个K值上，union召回≥ IBKNN召回。这使得在将新通道与成熟的行为基线一起部署时，Union严格优于倒数排名融合，我们通过实证说明了原因。
- •我们报告了*按细分分析*，显示LLM通道的提升恰好集中在IBKNN最薄弱的地方，并将覆盖范围扩展到行为通道无法服务的数万个冷启动房源。
- •我们证明*Union融合*使查询生成LLM的选择更加稳健：在独立召回上，3B开源模型与顶尖API模型之间27-46%的差距，一旦候选在Union融合下与IBKNN合并，就缩小到1%以下。这使得自托管小模型部署成为一个可行的全规模选择，避免了顶尖API速率限制带来的运营天花板。

## 2. 相关工作

基于项目的协同过滤自Sarwar等人 (Sarwar et al.,2001) 提出以及Linden等人 (Linden et al.,2003) 在亚马逊早期大规模部署以来，一直是大规模推荐系统的主流方法。该方法在现代栈中仍具有竞争力，因为它计算成本低、可解释性强，并且能在交互良好的项目上生成紧密的邻域。大量后续工作用神经表示扩展了基于共现的候选项生成：Item2Vec (Barkan and Koenigstein,2016) 采用skip-gram框架从共现数据中学习密集项目嵌入；Yi等人 (Yi et al.,2019) 的采样偏差校正双塔检索模型为大语料项目推荐建立了双编码器范式；PinSage (Ying et al.,2018) 在Pinterest上展示了图卷积网络在Web规模下的项目间检索。尽管方法论多样，这些方法都共同依赖于用户-项目交互信号，并且在长尾和冷启动项目上会有不同程度退化。

大语言模型最近被应用于多个维度的推荐。TALLRec (Bao et al.,2023) 提出了一种高效的LoRA框架，将预训练LLM与推荐任务对齐，证明轻量级调优可以产生有竞争力的序列推荐器。另一并行方向是生成式检索：TIGER (Rajput et al.,2023) 用自回归变换器替代了标准的嵌入-然后-最近邻流水线，直接解码语义标识符。然而，这两个方向都需要模型训练——要么是参数高效微调，要么是完整的编码器-解码器预训练——并且不能原生集成现有的密集检索基础设施。第三个较新的方向通过纯粹将LLM用作*查询生成器*来绕开这两个成本。Kim等人 (Kim et al.,2025) 提出了QueRec，它提示LLM根据用户的交互历史生成个性化搜索查询，并通过密集搜索查询嵌入来检索项目，无需LLM微调。

在住宿领域，通过内容和侧信息缓解冷启动问题已经被广泛研究。Hotel2vec (Sadeghian et al.,2019) 在精神上与我们最接近：它融合了基于点击的酒店嵌入与结构化属性编码器（位置、设施、星级评定）以提高推荐质量，并在缺乏点击历史的冷启动酒店上取得了明确收益。更广泛的模式是一致的：基于内容的和混合方法在行为信号稀疏时有帮助，但通常需要在配对交互-属性数据上训练专用编码器。

我们的工作与每个方向的具体区别在于：与行为候选项生成通道不同，我们不需要交互数据；与TALLRec (Bao et al.,2023) 和TIGER (Rajput et al.,2023) 不同，我们在候选项生成阶段没有可训练组件；我们与QueRec (Kim et al.,2025) 共享先查询后检索的范式，但目标是基于静态元数据的*项目间*候选项生成，而非基于用户历史条件的序列推荐；与Hotel2vec (Sadeghian et al.,2019) 不同，我们让通用LLM将元数据表述为查询，而不是训练专用编码器。

## 3. 方法论

房源元数据LLM通道（无需训练）行为通道（IBKNN）融合与重排序标题描述城市,州容量设施用户点击流（共现）LLM查询生成“奥斯汀滨湖小屋带热水浴缸”……Q=12个查询“奥斯汀滨湖小屋带热水浴缸”“奥斯汀家庭小屋近湖”……Q=12个查询E5编码器FAISS1170万RRF+地理重排序\(C_\text{LLM}\)IBKNN共现\(C_\text{IB}\)Union融合Top-1000池LightGBM排序器Top-K结果

一个流水线图展示了无需训练的LLM候选项生成架构。在顶行，房源元数据框（包含标题、描述、城市/州、容量和设施字段）输入LLM查询生成器，输出Q=12个自然语言搜索查询。显示两个示例查询：“奥斯汀滨湖小屋带热水浴缸”和“奥斯汀家庭小屋近湖”。查询随后通过E5编码器、FAISS索引（1170万房源）以及RRF加地理重排序，得到LLM通道候选列表\(C_\text{LLM}\)。在底行，用户点击流输入IBKNN共现模块，生成候选列表\(C_\text{IB}\)。两个候选列表输入Union融合，生成Top-1000池，传递给LightGBM排序器，产出最终Top-K结果。LLM通道（顶部）、行为通道（底部）和融合与重排序块（右侧）各自被虚线标记框分组显示。

图1. 端到端候选项生成与重排序流水线。LLM通道（顶部）通过指令调优的LLM将静态房源元数据转换为Q=12个自然语言查询，用E5编码，并从1170万房源的FAISS索引中通过RRF和地理重排序检索候选。行为通道（底部）从IBKNN在用户点击流上生成\(C_\text{IB}\)。Union融合（第3.3节）合并两个列表，同时保留IBKNN的排序，下游LightGBM排序器对融合后的Top-1000池重新打分。

### 3.1. 流水线概述

基于LLM的候选项生成流水线完全在静态房源元数据上运行，为目录中的任何焦点房源生成一个排序的候选房源列表。它由四个阶段组成（图1），每个焦点房源分别执行：

1. (1)查询生成。用一个现成的指令调优LLM，以焦点房源的元数据为提示，生成一小组多样化的自然语言搜索查询，从不同角度描述该房源提供的服务（第3.2节）。需要指令调优，以便模型可靠地遵循提示的长度和格式规则。
2. (2)查询编码。每个生成的查询由一个预训练文本编码器编码为密集向量。1170万房源的目录已离线一次性预编码到相同的嵌入空间中。
3. (3)近似最近邻检索。每个查询嵌入被发送到覆盖房源目录的FAISS索引，返回每个查询的Top-N个最近邻房源。
4. (4)聚合与位置重排序。通过倒数排名融合 (Cormack et al.,2009) 聚合每个查询的结果列表，产生一个单一的LLM通道候选排序列表，然后根据与焦点房源的语义相似度和地理距离的加权组合进行重排序。

该流水线的输出是每个焦点房源的LLM通道候选排序列表\(C_\text{LLM}\)。此列表随后通过第3.3节形式化的Union融合策略与IBKNN通道的列表\(C_\text{IB}\)合并，融合后的池由下游学习排序模型重新打分（第3.4节）。由于流水线仅依赖于元数据，它是无状态的，可在焦点房源间并行执行，并适用于目录中的任何房源——包括交互历史为零的房源（第3.5节）。

### 3.2. 从房源元数据生成查询

对于每个焦点房源，我们用现成的、能遵循指令的LLM，输入房源结构化元数据的紧凑序列化，并要求其生成Q个多样化的自然语言搜索查询。我们不进行任何自己的微调；流水线仅依赖于模型从其提供者训练中已有的指令跟随能力。LLM被视为流水线的一个可互换组件：任何能够遵循提示长度和格式约束的模型都能担任此角色，我们将对