AI辅助搜索中通信与推荐集规模的最优匹配

# AI辅助搜索中通信与推荐集规模的合理配置 来源：https://arxiv.org/html/2605.23944 Prakirt Raj Jhunjhunwala 亚马逊公司 [email protected] Yash Kanoria 哥伦比亚大学商学院，哥伦比亚大学 [email protected] ###### 摘要 我们对用户与AI驱动推荐系统之间的交互进行建模。用户通过发送有成本且带噪声的消息来传达偏好信息。AI助手作为贝叶斯代理，解读用户消息，形成关于其真实偏好的后验信念，并做出产品推荐。具体而言，它会确定呈现多少条推荐，以最大化用户从最终选择中获得的期望效用，同时考虑推荐集规模带来的搜索成本。我们使用基于互信息的成本函数来建模用户在交互过程中承担的两种不同成本：(i) 通信成本，随用户偏好消息的精确度增加而增加；(ii) 搜索成本，随AI助手提供的推荐集规模增加而增加。我们研究的产品和偏好存在于 d 维空间中，并探讨如何最大化用户的期望收益。对于大的 d，我们刻画了在两种不同的推荐抽样分布（从产品宇宙中采样）下，最优消息精度和推荐集规模如何取决于成本参数：(i) 贝叶斯后验信念，以及 (ii) 优化的倾斜分布。在后验抽样方案 (i) 下，我们识别出一个混合机制，其中有效的交互策略需要联合优化用户传达的信息量（以比特计）和AI助手提供的推荐数量。在倾斜抽样方案 (ii) 下，我们的结果表明，最优交互策略仅使用通信或搜索中的一种，倾向于成本较低的那一方。 关键词：产品推荐、通信成本、搜索成本、抽样、选择过载 ## 1 引言 AI赋能的推荐系统正日益嵌入电子商务（Bansal 等 2025 (https://arxiv.org/html/2605.23944#bib.bib10)，Cui 等 2017 (https://arxiv.org/html/2605.23944#bib.bib9)）、医疗保健（Moore 等 2023 (https://arxiv.org/html/2605.23944#bib.bib13)，Jiang 等 2017 (https://arxiv.org/html/2605.23944#bib.bib16)，Yu 等 2018 (https://arxiv.org/html/2605.23944#bib.bib15)）和教育（Kasneci 等 2023 (https://arxiv.org/html/2605.23944#bib.bib14)，Atchley 等 2024 (https://arxiv.org/html/2605.23944#bib.bib12)）等多个领域的面向客户的平台中。随着这些系统的普及，人类决策的性质正从直接搜索转向交互式委托。这种转变在电子商务环境中尤为显著，顾客经常面对一个产品类别中的数千种选择——例如，在亚马逊上搜索耳机可能会返回海量结果。仔细阅读产品规格和评论，以识别最符合个人偏好的选项，可能极其耗时且认知负担沉重（Schwartz 2015 (https://arxiv.org/html/2605.23944#bib.bib8)，Scheibehenne 等 2010 (https://arxiv.org/html/2605.23944#bib.bib7)）。AI购物助手可以通过聚合产品信息，并基于对顾客潜在偏好的后验信念生成推荐，来减轻这一负担。在本工作中，我们使用“代理”一词指代一个AI购物助手，其目标是最优地协助顾客。（特别地，我们的购物“代理”既非策略性，也并非拥有很大自主权。）我们也称顾客为用户。 在现代推荐场景中，代理擅长处理庞大复杂的产品空间并缩小可行选项范围，但它们通常无法直接获取用户的真实偏好。获取这些信息需要用户进行通信，这对用户来说是一项固有的高成本活动，因为需要付出认知努力和时间。因此，代理依赖有限的用户交互来推断偏好并定制推荐。我们的工作研究如何在产品推荐场景中最优地构建这种用户-代理交互。在这里，“交互”特指用户与代理之间的信息交换，即用户传达的偏好信息和代理提供的产品推荐。管理该交互的关键机制在于：用户的偏好通信提高了推荐集的相关性，而代理提供的多个推荐则处理了这些偏好中残留的不确定性。 研究问题。*应如何联合选择用户传达的偏好信息量以及向用户提供的推荐数量，以权衡通信成本、搜索成本和产品效用？* 本文引入了一个理论框架来研究AI辅助决策，其中用户从所选物品中获得效用，并承担用于指定偏好的通信成本和用于评估推荐集的搜索成本。代理在收到用户消息后，构建一个抽样分布，并生成一个由该分布中独立样本组成的推荐菜单。菜单规模经过优化，以平衡两个相互竞争的目标：最大化集合中最佳选项的期望效用（即，确保菜单中包含一个高度偏好的物品），同时保持集合足够小以限制用户的搜索成本。预测到代理的响应，用户可以精心选择其消息的精确度，在更精准的推荐集带来的好处与通信成本之间进行权衡。 我们的分析使用了关于特征数量的高维近似，并在两个实践动机驱动的推荐抽样方案之间揭示出鲜明区别。默认方法（对于基于生成式AI的代理）是后验抽样，即每条推荐都是用户偏好产品后验分布的独立同分布样本。在后验抽样下，最优性能通常需要用户偏好通信与多个产品推荐的优化组合。相比之下，在最优设计的推荐重要性抽样（我们称之为从“倾斜”分布中抽样）下，最优策略结果证明是“纯粹的”，根据通信和搜索的相对成本，只利用其中一种。 ### 1.1 主要贡献 本文推进了对用户-代理交互驱动的AI赋能推荐系统的理论理解。我们做出三项主要贡献。首先，我们开发了一个新颖的用户-代理交互模型，该模型考虑了偏好获取的通信成本以及评估推荐的搜索成本，这些成本以信息论方式（通过KL散度和集合规模熵）衡量。其次，我们推导了在特征数量 d 很大的渐近机制（即 d→∞）下问题的高维近似。通过为作为推荐集规模函数的最大效用建立大偏差原理，我们将复杂的随机优化问题简化为一个确定性优化问题，从而得到最优系统设计的显式描述。我们注意到，大 d 机制让人联想到现代推荐系统的架构，其中用户偏好和产品特征被表示为高维嵌入。第三，利用渐近极限的解析解，我们刻画了最优交互策略下的系统性能，并识别出由通信成本和搜索成本相对大小引起的不同运行机制。 接下来，我们简要概述模型，然后介绍从工作中得出的关键见解。 #### 1.1.1 模型： 我们引入一个风格化模型，该模型在 d 维球形特征空间中将用户-代理交互形式化，其中用户偏好和产品都用单位向量表示。从产品中获得的效用是其与用户真实偏好的一致性，由点积衡量。用户偏好均匀分布，d 维球面上的每个点都是一个产品。交互分为三个阶段，模拟用户与代理之间成本高昂的信息交换，成本用信息论方法量化。首先，用户发送一个精度为 κ 的带噪声消息，承担等于代理对用户偏好向量的先验信念与后验信念之间 KL 散度乘以通信成本参数 λ_c 的通信成本。其次，代理生成一个规模为 n 的推荐菜单，建模为从抽样分布中的独立抽取。最后，用户从菜单中识别出效用最大化的物品，承担等于菜单规模对数乘以搜索成本参数 λ_s 的搜索成本。我们将交互视为一个协作过程，共同目标是通过联合优化用户消息的精度 κ 和代理提供的推荐集规模 n，来最大化用户的期望收益（所选物品的效用减去搜索和通信成本）。我们考虑两种推荐集抽样策略：(i) 后验抽样，代理从用户偏好向量的后验分布中抽取物品；(ii) 优化的“倾斜”抽样，推荐来自一个修改过的分布，该分布为用户传达的偏好分配了额外的、经过最优选择的权重（即“倾斜”）。 #### 1.1.2 结果与见解： 在本节中，我们描述描述最优消息精度 (κ) 和推荐集规模 (n) 的解析结果。更广泛的讨论见第 3.2.1 节 (https://arxiv.org/html/2605.23944#S3.SS2.SSS1) 和第 3.3.1 节 (https://arxiv.org/html/2605.23944#S3.SS3.SSS1)。我们首先讨论推荐从用户偏好后验分布中抽样的设置，这类似于人们可能预期生成式AI模型在没有任何有意调整的情况下默认执行的操作。 ##### 联合优化与混合通信-搜索机制： 参见图注 图 1：后验抽样下最优交互机制的定性说明。 我们分析的一个核心见解是，最优性能需要根据通信和搜索成本的相对大小来平衡消息精度和推荐集规模。我们在成本参数空间中识别出一条单一的切换曲线。在这条曲线的一侧，最优策略联合优化通信和搜索；在另一侧，它仅依赖搜索。特别地，当搜索和通信成本按 λ_s ∼ 1/d 和 λ_c ∼ 1/d 缩放时，存在一个非平凡区域——由这条切换曲线界定——在该区域中，两种成本都具有经济意义（见图 1 (https://arxiv.org/html/2605.23944#S1.F1) 中的混合区域）。在这个混合机制内，最优性能需要联合优化：有意义的通信（正的消息精度）结合非退化的推荐集（多于一个物品）。 混合机制下缩放定律的直觉：高维近似还允许我们描述消息精度 κ 和推荐集规模 n 相对于特征维度 d 的缩放定律。 - • 消息精度的缩放：我们的模型假设用户偏好均匀分布在 d 维单位超球面上。在这个设置中，关于用户偏好的总不确定性（熵）随维度 d 线性缩放。为了使通信有意义，用户提供的信息必须克服这种不确定性的 Ω(1) 部分。我们的结果证实，在混合机制中，用户传达其总偏好信息的一部分，即提供的信息量随 d 线性缩放。直观上，这类似于用户完美指定其偏好“特征”的一个子集，而其余部分未指定。 - • 推荐集规模的缩放：当用户提供部分信息（或不提供信息）时，一个相当大的产品子空间仍然可能包含其偏好的物品。为了涵盖这些未指定的特征，代理必须提供多个推荐以确保足够的覆盖。直观上，如果每个未指定的属性可以在几个定性不同的水平上变化（例如，低/中/高价格，运动/休闲/专业风格），那么代理需要为这些未指定特征的每一种可能组合提供一个推荐产品，导致最优推荐集规模随 d 指数增长。我们注意到，最优推荐集规模按 n = exp(α d) 缩放，通常指数 α 很小。因此，推荐物品的数量远小于产品空间的大小。作为一个具体例子，对于 d=15，我们发现对于合理的通信和搜索成本，α=0.15，产生最优推荐集规模 n=15，这是现实的。注意，我们模型中的维度 d 应被解释为捕获与交互相关的有效偏好复杂度，因此 d=15 对于许多产品类别可能是合理的。我们进一步研究了一个允许不同特征具有不同权重的模型扩展（见附录 C (https://arxiv.org/html/2605.23944#A3)）。 ##### 从倾斜分布推荐： 接下来，我们考虑一个更复杂的推荐抽样策略：推荐的重要性抽样，我们称之为从“倾斜”分布中抽样，这松散地受到创建有意调整的生成式AI工具（如 ChatGPT 购物研究模式）的可能性的启发。核心见解是，代理可以通过调整一个单一的、确定性的“倾斜”参数，来最优地管理（在高维设置中）利用用户消息与跨未通信特征进行多样化之间的权衡；因此我们将这种方法称为“倾斜”。这里，倾斜参数作为一个设计杠杆，代理必须根据消息精度以及推荐集规模来校准它。 参见图注 图 2：倾斜抽样下最优交互机制的定性说明。 我们的分析表明，最优倾斜优于直接后验抽样，并通过将更大的权重放在用户消息上来增加通信的回报。此外，当所有控制参数（消息精度、推荐集规模和倾斜参数）都被联合优化时，也许令人惊讶的是，对于大的 d 会出现一个尖锐的相变。最优策略是纯粹的，完全依赖于通信或搜索中成本效益更高的一方，不会出现混合机制。这种行为由图 2 (https://arxiv.org/html/2605.23944#S1.F2) 中的对角线切换曲线定性说明：在成本参数空间中一条对角线边界的一侧，策略完全依赖于通信；在另一侧，策略完全依赖于搜索。