parquet

Pydantic 的技术博客介绍 Logfire 通过 dynamic shredding（动态拆解半结构化 JSON 属性数据）技术实现部分查询提速 1000 倍，原本 30 秒超时的查询现在不到一秒即可完成，将于 2026 年 2 月向所有客户推出。

MotherDuck 的技术博客详细解析 DuckDB 2.0 alpha 版本为何更快，重点介绍了通过独立下载线程池实现的异步 I/O，使 S3 上的 Parquet 查询性能显著提升，并分享了实际基准测试数据。

DuckLake 是一个基于 SQL 和 Parquet 构建的开放 Lakehouse 格式，其 DuckDB 扩展允许直接读写 DuckLake 数据，支持时间旅行、Schema 演进和变更数据流（CDC）等功能。

Amazon Aurora PostgreSQL 现已内嵌 DuckDB，用户可直接对实时业务数据以及存储在 S3 数据湖中、采用 Apache Iceberg 和 Parquet 格式的历史数据进行查询，无需 ETL 管道，也无需数据复制。

本文详细介绍了如何在 Haskell 中为 DataHaskell/Dataframe 库实现 Parquet 文件写入器，以实现高效的数据序列化并与数据科学生态系统互操作。

GreptimeDB Enterprise 与 Apache Iceberg 集成，通过发布基于现有 Parquet 文件的 Iceberg 元数据，使表可以从 Spark、Trino、DuckDB 等引擎查询，无需复制数据。

本文展示了利用 Hyparquet JavaScript 阅读器和 HTTP 范围请求，从单个 Parquet 数据立方体构建快速下钻仪表板的方法，从而无需使用传统数据库。

DuckDB 在 v2.0 中为 Parquet 和 CSV 文件引入异步 I/O，通过避免在数据获取期间阻塞工作线程来提升远程存储查询性能。

DuckDB的file_row_number选项用于分页读取Parquet文件时，比使用LIMIT/OFFSET快2.53倍，因为它利用行组元数据跳过不相关的数据块，但这一优势依赖于存在多个行组。

这篇博客文章介绍了 Apache Parquet 的一项优化，用于高效存储和解码像向量嵌入这样的定长列表，通过绕过固定大小数据页的 Dremel 重构，实现了与扁平列相当的解码性能。

Databricks推出Lakebase LTAP架构，将Postgres数据以Parquet格式存储在S3上，无需CDC或镜像即可在单份数据上实现事务与分析。

一位开发者分享了他们为跑步应用构建兴趣点功能的经历，使用了Geonames数据、DuckDB以及Claude的AI辅助，遇到了偏见和幻觉的挑战。

GreptimeDB的Mito2存储引擎采用LSM-tree设计，结合列式Parquet SST、三级扫描剪枝以及TWCS压缩。该博客文章对其架构进行了全面解析。