我在700个查询上对我的基于推理的检索系统与FAISS和BM25进行了基准测试，所有操作均在本地Qwen上运行。结果及不足之处

Reddit r/AI_Agents 工具
retrieval benchmark reasoning faiss bm25 qwen local-ai

摘要

一个基于推理的检索系统（ClawIndex）在700个查询上与FAISS和BM25进行基准测试，使用本地Qwen，取得了更高的NDCG@10但在某些数据集上速度较慢且MRR较低，作者希望获得反馈。

事先声明：这是我自己的项目（ClawIndex），一人团队。这里不卖任何东西，文章免费阅读，我主要想从认真做检索的人那里获得批评意见。 设置：一种检索方法，它在索引上进行推理过程，而不是纯粹的向量相似度。没有嵌入，没有向量数据库。整个基准测试在自托管的Qwen上运行，没有任何数据离开机器。 与FAISS和BM25在700个查询上进行了基准测试：500个HotpotQA + 100个BEIR ArguAna + 100个BEIR SciDocs。 它的优势：• 在所有五个数据集划分上NDCG@10更高（HotpotQA完整集上0.934）• 在多跳桥接问题上差距最大：0.920对比FAISS的0.837 • 51/500的HotpotQA查询命中了回退路径；所有查询仍然解析为有效的跟踪结果 它的不足/我想坦诚说明的注意事项：• FAISS在两个BEIR数据集上的MRR@10都超过它 • SciDocs的差距（0.975 vs 0.972）在n=100时处于噪声范围内，尚未计算置信区间，因此我称之为方向性而非胜出 • HotpotQA是干扰项设置，而非fullwiki。我与已发表系统（PRISM）的比较可能是在比较苹果和橘子，因为我尚未确认他们的语料设置 • 每个查询约27秒。FAISS是7毫秒。这是真正的代价，而且不小。 诚实评价：它速度慢，专为狭窄的工作场景而设计，即异步工作中可追踪、完全本地的答案胜过快速答案（合同审查、合规、任何不能接触外部API的场景）。对于实时搜索，FAISS胜出，毫无悬念。完整表格和方法在链接中。真心想知道我测量了什么错误，或者还应该测试什么！
查看原文

相似文章

QontoFAQ: 一个更优的信息检索基准 [R]

Reddit r/MachineLearning

QontoFAQ 介绍了一个用于信息检索的新基准和指标，专注于提升回答产品问题的相关性度量，并发布了相关的代码和数据集。

当病例罕见时：面向非指南临床问答的检索基准

arXiv cs.CL

介绍 OGCaReBench，这是一个自由形式的检索基准，用于评估 LLM 在需要超越标准指南推理的临床问题上的表现。实验表明，即使是最好的模型也仅能达到 56% 的准确率，但检索增强将性能提升至 82%。