决策袋重排序器

# 决策袋重排序器 来源：https://softwaredoug.com/blog/2026/10/08/bag-of-decisions.html 如果我们不把搜索查询理解为“词袋”，而是将其视为“决策袋”，会怎样？ 我们知道，Jev 可以充当具有前沿水平质量的重排序器 (https://hevmind.com/writing/jev-as-a-reranker/)\。作为一个有趣的实验，我想尝试另一种技术：不要只是问 Jev“这与 \{query\} 相关吗？”\。而是让一个 LLM 生成该查询的判断标准：一套仅用于评估此查询相关性的评分准则\。 我们向 LLM 提示“生成是 / 否问题，其中肯定回答表示相关”\。对于查询`儿童书桌`，它可能会生成： `` 1 - 文档是否介绍了为儿童设计的书桌？ 2 - 文档是否提供儿童书桌产品或相关信息？ 3 - 是否提到了适合儿童体型或年龄的书桌尺寸或人体工学设计？ 4 - 是否提到了供儿童做作业、学习或开展活动的书桌？ 5 - 是否讨论了儿童书桌特有的功能（例如适合儿童的高度调节、安全设计/圆角、用于存放学 习用品的收纳空间）？ 6 - 是否包含儿童书桌的购买指南、评测或比较？ 7 - 是否提供儿童书桌的价格或供货信息？ 8 - 是否将面向特定儿童年龄段（例如幼儿、小学生、青少年）的书桌作为儿童书桌提及？ 9 - 是否列出了儿童书桌的品牌或型号？ 10 - 是否介绍了在哪里购买或如何选择儿童书桌？ `` 这些问题中的每一个都可以转换为一个`noul`问题\。可以将每个问题的`P\(是\)`相加，得到整体相关性分数： `` document = """ 这款可调节学习书桌非常适合 5–12 岁的儿童。 它的高度可随孩子的成长而调整。 """ response = client.decide( state=document, questions={ "question_1": Noul( instructions="这篇文档是否介绍了为儿童设计的书桌？" ), "question_2": Noul( instructions="这篇文档是否提供儿童书桌产品或相关信息？" ) ... }, ) `` 我们不再用词袋来表示查询，而是使用一个**问题袋**\。由于 Jev 会给出回答“是”的概率，我们只需将每个问题为真的概率相加，作为重排序分数： `` total_probability = 0.0 for question_id, answer in response.answers.items(): probability = answer.noul print(f"{question_id}: {probability:.2f}") total_probability += probability `` 现在，`total\_probability`就可以作为重排序器的最终分数\。我们可以把它加到 BM25 分数上，也可以直接使用它\。换句话说： ## 效果如何？ 我开展了一项实验，将 BM25 与两种变体进行比较 \(详细细节见此处 (https://github.com/softwaredoug/search-experiments/blob/main/research/decisions/ecom.md)\)： 1. Jev 重排序：即\，“这篇文档与这个查询相关吗？” 2. 问题袋重排序 \- 上述多问题流程\。 随后，我在 Wayfair WANDS 和 Amazon ESCI 这两个电商数据集上进行了评估\。表现如何？ 这有效吗？看起来是有效的\。以下是一些初步结果： 数据集策略名称平均 NDCG中位数 NDCGWANDS`bm25`0\.54070\.475WANDS`jev\_reranker`0\.5740\.561WANDS`bag\_of\_decisions`0\.6100\.561ESCI`bm25`0\.2890\.171ESCI`jev\_reranker`0\.3140\.205ESCI`bag\_of\_decisions`0\.3600\.341或者用图形表示 我们本质上是在为每个查询创建特征\。利用 LLM 启发我们思考：对于*这个查询*，哪些因素值得重点考虑\。然后用 Jev 来衡量我们是否满足这些标准\。我们可以思考如何修改 LLM 调用，使其提供比上述问题更犀利 \+ 更多样的问题 \(我认为其中有些问题比较重复\) 这是一种有趣的方法\。我们似乎能够训练越来越多的决策模型，甚至可能是专注于特定领域的模型 (https://x.com/MaziyarPanahi/status/2108180624372605186)\。至少在这次小型实验中，它看起来是一种有前景、值得深入研究的方法\。祝你玩得开心\！ 与《*AI 驱动的搜索*》的作者一起学习最新的 AI 搜索技能\。加入 Doug Turnbull 和 Trey Grainger，探索面向人类和智能体的现代检索技术\。查看 Maven 上的课程\。 (https://maven.com/search-school/ai-powered-search)