我们如何使用 PostgreSQL、pgvector 和 Qwen3 嵌入构建最先进的搜索引擎 [P]

Reddit r/MachineLearning 新闻
search-engine postgresql pgvector embeddings hybrid-search hugging-face qwen3

摘要

这篇技术解析介绍了 Papers with Code 如何使用 PostgreSQL、pgvector 和 Qwen3 嵌入构建最先进的混合搜索引擎，该引擎结合了关键词和语义搜索，并由 Hugging Face 基础设施提供支持。

我撰写了一篇关于 Papers with Code 搜索机制的技术解析。该系统结合了关键词搜索和语义搜索，其效果优于单独使用任一方法。技术栈包括： - 使用 pgvector 的 PostgreSQL - 用于文本嵌入的 Qwen3-Embedding-0.6B - 用于批量嵌入生成的 Hugging Face Jobs 和 NVIDIA L4 - 用于存储工件的 Hugging Face Buckets - 通过 Hugging Face Inference Endpoints 提供的实时嵌入模型 同样的基础设施还驱动着单个论文页面上显示的“相关论文”推荐。完整文章：Hugging Face Inference Endpoints、Jobs 和 Buckets 如何为 Papers with Code 的搜索提供支持 我很有兴趣了解其他人如何为研究论文或类似技术内容实现混合搜索。声明：我在 Hugging Face 工作，并参与 Papers with Code 项目。
查看原文

相似文章

语义搜索中的高效GPU检索

arXiv cs.AI

本文介绍了针对LinkedIn语义搜索的对齐策略检索框架，利用嵌入向量划分为类别监督分段，并采用两阶段GPU架构以提升召回率和精确率，显著效果在A/B测试中得到验证。

我们尝试了向量、抽象语法树（AST）以及粗暴地堆砌上下文以进行代码检索。带有大语言模型（LLM）生成语义的图结构效果最佳。以下是我们的经验总结。

Reddit r/LocalLLaMA

作者们详细描述了他们在构建代码索引系统的经验，最终得出结论：使用大语言模型（LLM）生成语义的图检索方式在性能上优于向量嵌入和纯抽象语法树（AST）解析。他们将该系统开源，命名为 Bytebell，它利用 Neo4j 存储语义上下文，以实现高效且精确的代码检索。