我们如何使用 PostgreSQL、pgvector 和 Qwen3 嵌入构建最先进的搜索引擎 [P]
摘要
这篇技术解析介绍了 Papers with Code 如何使用 PostgreSQL、pgvector 和 Qwen3 嵌入构建最先进的混合搜索引擎，该引擎结合了关键词和语义搜索，并由 Hugging Face 基础设施提供支持。
我撰写了一篇关于 Papers with Code 搜索机制的技术解析。该系统结合了关键词搜索和语义搜索，其效果优于单独使用任一方法。技术栈包括：
- 使用 pgvector 的 PostgreSQL
- 用于文本嵌入的 Qwen3-Embedding-0.6B
- 用于批量嵌入生成的 Hugging Face Jobs 和 NVIDIA L4
- 用于存储工件的 Hugging Face Buckets
- 通过 Hugging Face Inference Endpoints 提供的实时嵌入模型
同样的基础设施还驱动着单个论文页面上显示的“相关论文”推荐。完整文章：Hugging Face Inference Endpoints、Jobs 和 Buckets 如何为 Papers with Code 的搜索提供支持
我很有兴趣了解其他人如何为研究论文或类似技术内容实现混合搜索。声明：我在 Hugging Face 工作，并参与 Papers with Code 项目。
相似文章
Hugging Face Inference Endpoints、Jobs 和 Buckets 如何驱动 Papers with Code 的搜索
这篇博客文章解释了 Hugging Face 的 Inference Endpoints、Jobs 和 Buckets 如何被用来赋能 Papers with Code 的混合搜索系统，通过结合关键词搜索和向量搜索来提升 AI 研究的可访问性。
Pg_vectorsearch：一个比 pgvector 的 IVFFlat 和 HNSW 更快的索引
Timescale 开源了 pg_vectorsearch，一个 PostgreSQL 扩展，其 PRISM 索引在查询和建索引速度上均优于 pgvector 的 IVFFlat 和 HNSW，支持 RaBitQ 量化、SIMD 优化和动态更新。
我在68,000件艺术品上部署了多模态语义搜索。Modal + L40S + Qwen3-VL-Embedding
一位开发者使用Qwen3-VL-Embedding、FAISS、Modal和Cloudflare R2，在国家美术馆的68,000件艺术品上构建了多模态语义搜索系统。该系统热响应时间约1.3秒，冷启动约44秒，同时支持文本到图像和图像到图像的查询。
语义搜索中的高效GPU检索
本文介绍了针对LinkedIn语义搜索的对齐策略检索框架，利用嵌入向量划分为类别监督分段，并采用两阶段GPU架构以提升召回率和精确率，显著效果在A/B测试中得到验证。
@NielsRogge：为 Papers with Code 即将推出的聊天界面添加了网络搜索功能，这通过 @baset… 运行在 @huggingface Inference Providers 上
Niels Rogge 为 Papers with Code 即将推出的聊天界面添加了网络搜索功能，由 Hugging Face Inference Providers、Baseten 的 DeepSeek-V4 Flash、Exa 的 MCP 服务器以及 Modal 提供支持。他邀请 HF 用户留下用户名以提供反馈。