@jobergum:你们认识我是 BM25 guy,但 embeddings 也很酷。@HornetDev 团队刚刚发布了新文章,在 1 亿规模下做 ANN 调优……
摘要
HornetDev 团队发布文章,介绍在 1 亿级别数据下调优近似最近邻搜索,涵盖 embedding 偏差、图连通性与量化上限。
你们认识我是 BM25 guy,但 embeddings 也很酷。@HornetDev 团队刚刚发布了新文章,在 1 亿规模下做 ANN 调优,内容涵盖 embedding 偏差、图连通性与量化上限。
相似文章
@techNmak: 30题详解嵌入、向量搜索与检索的实际工作原理 - 相似度度量、对比学习…
一个30题详解,阐述嵌入、向量搜索和检索系统的工作原理,涵盖相似度度量、训练方法、索引技术和评估。
@tomaarsen: 成本低1400倍,我知道我将坚持使用嵌入(密集、稀疏、多向量),加上混合方法(包括bm25)和重排……
一项关于嵌入与大语言模型成本效益的讨论,引用了名为'embedder's dilemma'的研究,该研究发现大语言模型以显著更高的成本超越了嵌入模型。
为什么我停止使用语义嵌入进行工具选择并切换回BM25 [D]
作者分享了他们在agent中从语义嵌入切换到BM25进行工具选择的经验,发现在200个查询-工具对的数据集上,BM25的Top-1准确率达到81%,而嵌入只有64%,因为工具描述简短且关键词驱动,不像文档那样语义丰富。
@mixedbreadai:到如今,所有人都知道单向量嵌入模型对现代工作流极为有限。但它们包含更多…
单向量嵌入模型可用于提取稀疏潜在术语,而BM25可将这一词汇转化为强大的检索器。
@garrytan: 我的最新gbrain-evals刚刚发布 - 这是gbrain与其他选项的比较。http://ZeroEntropy.dev 在重新排名方面是SOTA…
Garry Tan发布了新的gbrain-evals基准测试,显示ZeroEntropy.dev在重新排名和嵌入成本、速度及检索成功率方面达到SOTA,击败了MemPalace和Vector RAG。