@GergelyOrosz:turbopuffer 公开展示他们的新架构一开始比旧架构慢多达 128 倍……
摘要
Gergely Orosz 强调 turbopuffer 公开分享了他们迁移到 v3 架构的过程,新设计最初比旧架构慢多达 128 倍,而每一步优化(例如批量读取带来约 9 倍的性能提升)都被公开记录了下来。
查看缓存全文
缓存时间: 2026/10/03 10:55
turbopuffer 在展示他们新架构有多糟糕这方面真是出奇地坦诚:在进行任何优化之前,新架构比旧架构慢了高达 128 倍……
而且他们还在一边做优化、一边写博客分享每一次改进。
之前从没见过有团队这样公开分享迁移过程的,太喜欢这种做法了。
turbopuffer (@turbopuffer): 我们在 v3 全文搜索引擎中实现了批量读取,性能提升了约 9 倍。倒排索引(postings)是以列的形式存储的,而我们之前却是一行一行地读取的
有时候优化并不需要多聪明,只需要避免犯错就够了
相似文章
@GergelyOrosz: 这很少见:turbopuffer 喜欢写博客、做记录、画图表,展示他们如何重写底层引擎——从现在起,重写已经完成,但性能嘛……唉 Gergely Orosz 高度评价 turbopuffer 公开记录 tpuf 存储引擎 v3 重写进展的做法,在公开打磨查询计划,而不是等重写完成、速度起飞后才来庆祝
Gergely Orosz 高度评价 turbopuffer 公开记录 tpuf 存储引擎 v3 重写进展的做法,在公开打磨查询计划,而不是等重写完成、速度起飞后才来庆祝
@GergelyOrosz:有没有想过,大约12到16年前,@turbopuffer的创始人(也就是@Sirupsen)刚入行时在做什么……
Gergely Orosz的一条推文指出,turbopuffer的创始人Simon Eskildsen在2010到2014年间维护了一个博客,并分享了一份关于turbopuffer和向量搜索的最新演讲和播客的详尽列表。
@reprompting:今天阅读关于 NVIDIA Hopper 架构的内容 https://arxiv.org/pdf/2501.12084
这篇论文对 NVIDIA Hopper GPU 架构进行了多层级微基准测试分析,评估了 L2 分区缓存、第四代张量核心(FP8)、DPX 指令、分布式共享内存(DSM)和张量内存加速器(TMA)等新特性的性能表现,结果显示 TMA 异步编程可实现 1.5 倍矩阵乘法加速,FP8 性能接近 FP16 的两倍,DPX 指令可加速生物信息学算法至少 4.75 倍。
@vivekgalatage: 了解TPU的系统架构非常有趣。 https://henryhmko.github.io/posts/tpu/tpu.html…
深入探讨谷歌TPU架构,解释脉动阵列、流水线和提前编译的设计理念,这些设计带来了高吞吐量和能效。
@GergelyOrosz:非常激动地宣布 @turbopuffer 将成为《The Pragmatic Engineer Podcast》的季度赞助商!我第一次听说他们……
Gergely Orosz 宣布 turbopuffer 成为《The Pragmatic Engineer Podcast》的季度赞助商,并强调了该数据库在对象存储和智能缓存方面的创新应用,帮助诸如 Cursor 等公司实现扩展,同时将成本降低 95%。