标签
Show HN：xarray-sql 让你用 SQL 查询 Xarray 数据集，将其透视为表格，从而在 DuckDB、Polars、PostgreSQL、BigQuery 和 Arrow Flight SQL 等引擎上执行查询，并可惰性地往返转换回 Xarray。
介绍由前 Meta/Airbnb 数据工程师 Zach Wilson 主导的开源项目 The Data Engineering Handbook（约 45k Stars），这是一站式数据工程学习路线库，涵盖实战项目、面试指南、经典书单、社区与邮件周报等资源。
DuckDB 2.0.0 LTS "Cinnamon Teal" 发布，这是迄今规模最大的功能版本，带来了完善的 Quack 客户端-服务器协议、异步 I/O、一等公民的 VARIANT 类型、Agent 模式、触发器以及可扩展的 SQL 解析器，基于自 DuckDB 1.5 以来近 20,000 次提交构建而成。
swyx 认为，构建数据密集型应用的数据工程师的需求远高于普通的"RAG 专家"式 AI 工程师，并通过 Latent Space 招募一个以使命为导向的岗位，提供搬家和签证支持。
作者用真实工作场景的 ETL 任务（shell 脚本重构与 Python 编排器开发）对比评估 Nemotron 3.5 Bolt 与 Qwen Flash Next，并由 Gemini 作为裁判判定胜负，结果各赢一局。
MotherDuck 的技术博客详细解析 DuckDB 2.0 alpha 版本为何更快，重点介绍了通过独立下载线程池实现的异步 I/O，使 S3 上的 Parquet 查询性能显著提升，并分享了实际基准测试数据。
G2i.ai CEO Gabbe Greenberg 宣布公司本月将招聘 50 名 Staff 软件工程师，与前沿 AI 实验室合作进行评测（evals）和训练数据集构建，远程工作，时薪 $200–$300。G2i 将自己定位为 AI 训练的工程层，为顶尖实验室构建强化学习（RL）环境和精选评测集。
Duckherder 是一个新的 DuckDB 扩展，它使用 Arrow Flight 在多个工作节点之间支持分布式查询执行，旨在通过并行处理增强数据工程工作流。
本文提出了一种端到端框架，通过层次化LLM推理和RAG抽象，从原始遥测数据自动构建业务语义层，显著提高了语义质量并减少了维护工作量。
作者批评当前AI智能体的记忆系统沿用旧的数据工程模式，强调了记忆中存在差距的风险，并主张在分层摘要之前使用可审计的原始轨迹。
作者批判了网页代理演示因获取层问题而在真实URL上失败的现象，强调数据工程是比代理推理更难的挑战。
一条推文讨论了Databricks如何简化了Spark，使得像GTM工程师这样的非专家也能在没有深入技术知识的情况下构建数据管道。
这篇博客文章详细介绍了渐进式优化，以将ClickHouse查询延迟从超过85秒降低至亚秒级，包括对分区键的修改、连接消除和激进合并。
这篇文章分享了运维PB级ClickHouse集群五年的经验教训，讨论了最佳实践，并推广Tinybird的托管数据服务。
本文提出了一种针对LLMs的神经符号层，无需微调即可将逻辑推理准确率提高8.5%，并在长上下文任务中将令牌使用量减少超过50%。
一位推特用户正在考虑是否要获取第二个 Spark 实例，这很可能指的是 Apache Spark，并希望有人能说服他。
Snowflake的工程博客详细介绍了新的Postgres数据镜像功能，该功能通过snowflake_cdc扩展将更改推送到Iceberg表中，旨在实现弹性、低延迟的事务复制。
TechAscent 展示了如何通过 tech.ml.dataset（TMD）从 Clojure 中利用 DuckDB 的高性能矢量化 SQL 引擎，实现大型内存外连接，以及约两分钟内将 50GB CSV 数据摄入并压缩至 18GB。
A comprehensive guide for software developers entering the data field, explaining the data tools landscape, key concepts, and workflows from ingestion to visualization.
这本freeCodeCamp手册教读者如何使用真实洪水数据在Python中构建生产级ETL管道，涵盖增量加载、类型强制转换、去重和幂等性。