@jobergum:你们认识我是 BM25 guy,但 embeddings 也很酷。@HornetDev 团队刚刚发布了新文章,在 1 亿规模下做 ANN 调优……
摘要
HornetDev 团队发布文章,介绍在 1 亿级别数据下调优近似最近邻搜索,涵盖 embedding 偏差、图连通性与量化上限。
你们认识我是 BM25 guy,但 embeddings 也很酷。@HornetDev 团队刚刚发布了新文章,在 1 亿规模下做 ANN 调优,内容涵盖 embedding 偏差、图连通性与量化上限。
相似文章
为什么我停止使用语义嵌入进行工具选择并切换回BM25 [D]
作者分享了他们在agent中从语义嵌入切换到BM25进行工具选择的经验,发现在200个查询-工具对的数据集上,BM25的Top-1准确率达到81%,而嵌入只有64%,因为工具描述简短且关键词驱动,不像文档那样语义丰富。
@mixedbreadai:到如今,所有人都知道单向量嵌入模型对现代工作流极为有限。但它们包含更多…
单向量嵌入模型可用于提取稀疏潜在术语,而BM25可将这一词汇转化为强大的检索器。
@garrytan: 我的最新gbrain-evals刚刚发布 - 这是gbrain与其他选项的比较。http://ZeroEntropy.dev 在重新排名方面是SOTA…
Garry Tan发布了新的gbrain-evals基准测试,显示ZeroEntropy.dev在重新排名和嵌入成本、速度及检索成功率方面达到SOTA,击败了MemPalace和Vector RAG。
@gordic_aleksa: 新深度博文时刻:Inside the Transformer: The Life of a Token 对现代密集Transformer的深入探讨,我…
一篇深入探讨现代密集Transformer内部工作原理的博文,涵盖YaRN(位置信息)、混合注意力(实现160k上下文长度)、soft capping、QK归一化,以及Transformer数学(包括FLOPs/Token公式和集群规模估算)。
@omarsar0: NVIDIA 的压缩论文,相当惊艳。(记得收藏)更大的 MoE 模型在质量上持续胜出,但以交互延迟提供服务仍然困难…
NVIDIA 的论文介绍了 Puzzle-75B-A9B,这是一种压缩的混合 MoE 模型,能够在保持质量的同时将服务器吞吐量提高一倍,从而实现大型语言模型的成本高效部署。