@techwith_ram：一个1000万文档的语料库以float32格式占用31GB内存。大多数团队遇到这一瓶颈后会转向托管向量数据库。每月400美元……
摘要
turbovec 是一个开源的 Rust 向量索引，使用 Google Research 的 TurboQuant 算法，实现了16倍压缩，搜索速度比 FAISS 更快，并且集成了 LangChain、LlamaIndex 和 Haystack 等 RAG 框架。
一个包含1000万文档的语料库以float32格式占用31GB内存。大多数团队遇到这一瓶颈后，会转向托管向量数据库。每月400美元或800美元。每添加一个文档都要扩展。然后一位独立工程师发布了 turbovec。turbovec 是一个开源的 Rust 向量索引，基于 Google Research 的 TurboQuant 算法。它可以将同样的1000万语料库压缩到4GB，并且搜索速度比 FAISS 更快。以下是它的不同之处：→ 零训练。零数据遍历 → 对1536维向量实现16倍压缩 → 在ARM上比 FAISS IndexPQFastScan 快12-20% → 内置 NEON (ARM) + AVX-512BW (x86) SIMD 内核 → IdMapIndex 支持稳定ID，删除后仍存在 → Python 绑定，集成 LangChain、LlamaIndex 和 Haystack → 完全本地化。无需托管服务。Rust核心。Python 绑定发布在 PyPI。基于 Google Research 的 TurboQuant。针对 ARM 和 x86 进行了 SIMD 优化。集成了所有主流 RAG 框架。
相似文章
@dr_cintas: 谷歌新算法将31GB内存压缩至4GB TurboVec是一款新的开源工具，用于存储数据……
谷歌的TurboVec是一款新的开源工具，能将AI搜索数据的内存占用从31GB降至4GB。它基于TurboQuant，实现比FAISS更快的搜索，可集成LangChain和LlamaIndex，并完全离线运行。
@vintcessun: 1000万向量31GB压到4GB，搜索还比FAISS快——这事有点离谱，但turbovec真做到了。核心是Google TurboQuant的数据无关量化，无需训练、不用调参，加向量即索引。手写NEON/AVX-512核实打实快12-20…
turbovec 基于 Google TurboQuant 算法，将 1000 万向量从 31GB 压缩到 4GB，搜索速度比 FAISS 快 12-20%，支持过滤搜索，提供 Rust 实现和 Python 包。
RyanCodrai/turbovec
turbovec 是一个基于 Rust 的向量索引，带有 Python 绑定，实现了谷歌的 TurboQuant 算法，提供高效的向量搜索，支持在线摄入，性能优于 FAISS，并具备过滤搜索能力。
@tech_with_ram：你的 AI 技术栈有个数据库问题 你需要一个向量数据库来存嵌入。一个图数据库来处理关系。一个应用 …
HelixDB 是一款新的开源数据库，采用 Rust 构建，将向量、图和其他数据模型结合到单一引擎中，由 Y Combinator 支持。它旨在取代 AI 技术栈中独立的向量、图和应用数据库，提供原生向量搜索、图遍历和 MCP 支持。
为什么向量RAG在大规模AI编程代理中失败（以及我如何使用Neo4j图来解决它）
一款名为Writ的新开源工具采用混合检索流程，结合BM25、本地ONNX向量和Neo4j图遍历，为AI编程代理提供上下文规则，将令牌膨胀减少726倍，并通过bash钩子强制计划审批。