@almoggavra:这项优化现已部署至 Dropbox,其 SlateDB 启动时间降低了 60 倍。LIST 调用代价高昂,各位。
摘要
Almog Gavra 宣布,一项使用 HEAD 请求替代 LIST 调用的性能优化已在 Dropbox 部署,将 SlateDB 启动时间减少了 60 倍。
查看缓存全文
缓存时间: 2026/05/30 06:31
该方案已在 Dropbox 部署,SlateDB 启动时间因此减少了 60 倍
LIST 调用成本高昂,切记
Almog Gavra(@almoggavra): 了解你的 S3 操作延迟与成本。有时用 HEAD 请求探查文件比用 LIST 更划算。
刚合并到 Slate:https://t.co/q65sgsTmkB 采用指数探测 + 二分查找处理顺序文件
相似文章
@Greptime: GreptimeDB v1.1.0 发布,PromQL rate/increase 查询速度提升高达97%,整体查询时间降低20-40%,TS… 上速度提升高达4.5倍
GreptimeDB v1.1.0 已发布,提供高达97%的PromQL查询加速,整体查询时间降低20-40%,在TSBS扫描密集型查询上性能提升高达4.5倍,并支持对现有表进行在线重分区。
@Greptime: GreptimeDB 六月的大部分工作归结为一个想法:如果过滤器无法到达数据,那么它就没用。在分布式查询中…
GreptimeDB 通过启用远程动态过滤器在运行时下推到 datanode 扫描,并优化优化器使其在 MergeScan 包装远程计划之前运行,从而确保过滤器到达数据,提升了分布式查询性能。JSON v2 列现在支持类型提示。
@Greptime: GreptimeDB 的扁平格式查询现在可以在任何列上预过滤——标签、字段、时间戳——而不仅仅是主键。而…
GreptimeDB 的扁平格式查询现在支持在任何列(标签、字段、时间戳)上预过滤,而不仅仅是主键,性能提升高达 4.5 倍。此外,mito2 存储引擎移除了其遗留扫描路径,清理了约 1800 行代码。
@cognition: Beau Rothrock 在 @AngelList 工作两个月时,接手了一个陷入严重困境的从 Redshift 迁移到 Snowflake 的项目……
Beau Rothrock 使用 AI 编程助手 Devin,在五周内将 14,000 个仪表盘从 Redshift 迁移到 Snowflake,成功克服了项目延误的问题。
@Greptime: GreptimeDB v1.1:你不再需要在创建表时锁定分区布局。以前,只有使用 PARTITION ON COLUMNS 创建的表才能…
GreptimeDB v1.1 引入了对现有表的在线重新分区、增量 Flow 读取、面向 LLM 的语义层以及稳定性改进。