@hasantoxr:向量数据库不再是云产品。它们正在变成 pip install。一个名为 turbovec 的新开源项目……
摘要
一个名为 turbovec 的开源项目在 GitHub 上获得了 1 万星标。它是一个基于 Rust、带有 Python 绑定的向量索引,使用谷歌研究的 TurboQuant 算法将嵌入压缩到接近理论香农极限,使得完全本地的 RAG(检索增强生成)成为可能——1000 万文档仅需 4 GB RAM,且搜索速度快于 FAISS。
查看缓存全文
缓存时间: 2026/06/10 09:49
向量数据库不再是云产品。它正在变成一行 pip install 就能安装的东西。
一个名为 turbovec 的新开源项目刚在 GitHub 上突破 10K 星标。一旦你理解它的功能,就会明白为什么如此受欢迎。
这是一个基于 Google Research 的 TurboQuant 算法、带有 Python 绑定的 Rust 向量索引。TurboQuant 是 ICLR 2026 接收的量化器,能将嵌入压缩到接近理论香农极限的程度。
无需码本训练。无需训练阶段。无需随着语料增长而重建。添加向量,它们就会被索引。完成。
核心数据:一个 1000 万文档的语料库,以 float32 格式需要 31 GB 内存。turbovec 将其压缩到 4 GB,并且搜索速度比 FAISS 更快。
请再读一遍:比 FAISS 更快。Meta 优化了十年之久的库。手写的 NEON 和 AVX-512 内核在 ARM 上比 FAISS FastScan 快 12–20%,在 x86 上则持平或更优。
(并且召回率基准测试是公开进行的,以 FAISS 为基线,包括它表现不佳的配置。这种透明度在此领域实属罕见。)
但速度还不是战略重点。战略重点在于它所带来的可能性:
完全本地、离线的 RAG。
1000 万文档仅需 4 GB 内存,意味着整个公司的知识库可以装入一台 MacBook 的 RAM。搭配开源嵌入模型,没有任何东西——无论是查询、向量还是文档——会离开你的机器。
它还提供了 LangChain、LlamaIndex 和 Haystack 中向量存储的即插即用替代方案。只需替换一个 import,保持你的管线不变。切换成本几乎为零。
显而易见的类比是 SQLite。
数据库曾经是需要你配置并付费的服务器。后来 SQLite 让数据库变成了你应用里的一个文件,使得一整类托管基础设施在大多数场景下变得非必需。现在,同样的压缩驱动变革正在向量搜索领域发生。
每个将“托管向量搜索”作为收费项目的初创公司都应该关注。当索引能装入笔记本电脑内存、运行速度快于行业标准、并且只需一行代码就能安装时,护城河从来不是数据库本身。
向量数据库正在变成一个嵌入式库,而非云服务。而 RAG 的前沿正在向设备端转移。
真是太棒了。
相似文章
@techwith_ram:一个1000万文档的语料库以float32格式占用31GB内存。大多数团队遇到这一瓶颈后会转向托管向量数据库。每月400美元……
turbovec 是一个开源的 Rust 向量索引,使用 Google Research 的 TurboQuant 算法,实现了16倍压缩,搜索速度比 FAISS 更快,并且集成了 LangChain、LlamaIndex 和 Haystack 等 RAG 框架。
RyanCodrai/turbovec
turbovec 是一个基于 Rust 的向量索引,带有 Python 绑定,实现了谷歌的 TurboQuant 算法,提供高效的向量搜索,支持在线摄入,性能优于 FAISS,并具备过滤搜索能力。
@shedntcare_: 突发:阿里巴巴刚刚发布了一个可能永远改变RAG的向量数据库。认识Zvec 无需服务器。无需Docker。无需云…
阿里巴巴发布了Zvec,一个完全开源的向量数据库(Apache 2.0),可通过pip安装,支持针对RAG应用的稠密、稀疏和混合搜索,能在毫秒内处理数十亿向量。
@HowToPrompt__:向量数据库正式被终结。这个仓库将6000万个文本块从201GB压缩到仅6GB,且没有任何损失……
一个新的开源仓库将6000万个文本块从201 GB压缩到6 GB,且准确率零损失,这使得向量数据库在许多使用场景下可能变得过时。
@vintcessun: 1000万向量31GB压到4GB,搜索还比FAISS快——这事有点离谱,但turbovec真做到了。核心是Google TurboQuant的数据无关量化,无需训练、不用调参,加向量即索引。手写NEON/AVX-512核实打实快12-20…
turbovec 基于 Google TurboQuant 算法,将 1000 万向量从 31GB 压缩到 4GB,搜索速度比 FAISS 快 12-20%,支持过滤搜索,提供 Rust 实现和 Python 包。