Q2D-Web: 大规模评估第一阶段检索器（阅读时长约11分钟）

TLDR AI 2026/09/10 00:00 工具

retrieval-benchmark web-search evaluation-tool multi-lingual large-scale data-subsampling

摘要

Q2D-Web是一个大规模的基准和排行榜，用于评估网络搜索中的检索模型，具有1.9亿文档和查询，涵盖十种语言，并采用方法以最小化偏差并降低评估成本。

Q2D-Web是一个大规模的基准和排行榜，用于评估网络搜索中的检索模型，包含1.9亿文档和69,721个查询，涵盖十种语言。它使用三套独立的相关性判断集来最小化偏差并提高可靠性，帮助检索器区分相关数据与干扰项。评估提交通过子采样方法处理，以减少资源成本，同时保持模型排名的完整性。

查看原文

相似文章

Reddit r/MachineLearning

QontoFAQ 介绍了一个用于信息检索的新基准和指标，专注于提升回答产品问题的相关性度量，并发布了相关的代码和数据集。

Reddit r/AI_Agents

一个基于推理的检索系统（ClawIndex）在700个查询上与FAISS和BM25进行基准测试，使用本地Qwen，取得了更高的NDCG@10但在某些数据集上速度较慢且MRR较低，作者希望获得反馈。

X AI KOLs Following

作者介绍了OBLIQ-Bench，这是一个新基准，用于评估信息检索系统在明显更难的搜索查询上的表现，而之前的基准测试几乎没有剩余提升空间。

arXiv cs.CL

本文介绍了HybridDeepResearch，一个用于评估AI智能体在需要整合网络搜索和SQL查询任务上的基准测试，揭示了即使最先进的模型在跨结构化和非结构化数据维护约束方面也存在困难。

arXiv cs.CL

本文对17种深度学习模型在大规模代码到代码检索的第一阶段召回中进行了基准测试，评估了它们在多种编程语言和数据集上的精确度、效率和可扩展性。文中介绍了基于LLM的代码标准化和查询重写方案，这些方案提高了性能较低模型的精确度。