我运维PB级ClickHouse集群已五年

Hacker News Top 新闻

摘要

这篇文章分享了运维PB级ClickHouse集群五年的经验教训,讨论了最佳实践,并推广Tinybird的托管数据服务。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/09/11 17:24

# 我运营 PB 级 ClickHouse® 集群的五年经验 来源:https://www.tinybird.co/blog/what-i-learned-operating-clickhouse https://www.tinybird.co/Pricing (https://www.tinybird.co/pricing)文档 (https://www.tinybird.co/docs/forward/quickstarts) Bars 数据平台 托管型 ClickHouse® - 采用 Tinybird 的开发者体验打造,生产就绪 (https://www.tinybird.co/product/managed-clickhouse)数据接入 - 接入您的数据,几分钟即可开始使用 (https://www.tinybird.co/product/ingest)数据查询 - 为您的数据平台提供亚秒级 SQL API (https://www.tinybird.co/product/query)Kafka 连接器 - 对您的 Kafka 主题进行实时分析 (https://www.tinybird.co/product/kafka) 开发者体验 以 AI 为中心的开发者体验 - 为智能体和开发者构建 (https://www.tinybird.co/product/ai)Schema 迭代 - 零停机时间的安全迁移 (https://www.tinybird.co/product/schema-iteration)分支环境 - 使用生产数据创建零拷贝的全栈环境 (https://www.tinybird.co/product/branches)工作区 - 监控、探索和操作您的数据基础设施 (https://www.tinybird.co/product/workspace) 企业版 SaaS 与企业版 - 在企业规模上实现实时功能 (https://www.tinybird.co/product/enterprise)集群管理 - 掌握控制权,无需操心集群运维 (https://www.tinybird.co/product/cluster-management)技术支持 - 值班不孤单 (https://www.tinybird.co/product/support)组织管理 - 让每个团队都能发布功能,集中管控 (https://www.tinybird.co/product/organizations) 登录 (https://cloud.tinybird.co/login)注册 (https://cloud.tinybird.co/signup) 产品 \[\] 数据平台 托管型 ClickHouse® - 采用 Tinybird 的开发者体验打造,生产就绪 (https://www.tinybird.co/product/managed-clickhouse)数据接入 - 接入您的数据,几分钟即可开始使用 (https://www.tinybird.co/product/ingest)数据查询 - 为您的数据平台提供亚秒级 SQL API (https://www.tinybird.co/product/query)Kafka 连接器 - 对您的 Kafka 主题进行实时分析 (https://www.tinybird.co/product/kafka) 开发者体验 以 AI 为中心的开发者体验 - 为智能体和开发者构建 (https://www.tinybird.co/product/ai)Schema 迭代 - 零停机时间的安全迁移 (https://www.tinybird.co/product/schema-iteration)分支环境 - 使用生产数据创建零拷贝的全栈环境 (https://www.tinybird.co/product/branches)工作区 - 监控、探索和操作您的数据基础设施 (https://www.tinybird.co/product/workspace) 企业版 SaaS 与企业版 - 在企业规模上实现实时功能 (https://www.tinybird.co/product/enterprise)集群管理 - 掌握控制权,无需操心集群运维 (https://www.tinybird.co/product/cluster-management)技术支持 - 值班不孤单 (https://www.tinybird.co/product/support)组织管理 - 让每个团队都能发布功能,集中管控 (https://www.tinybird.co/product/organizations) 定价 (https://www.tinybird.co/pricing)文档 (https://www.tinybird.co/docs/forward/quickstarts) 资源 \[\] 学习 博客 - 关于数据转换、数据表以及其他方方面面的思考 (https://www.tinybird.co/blog)客户案例 - 我们帮助软件团队利用海量数据集交付功能 (https://www.tinybird.co/customer-stories)视频教程 - 通过视频学习如何使用 Tinybird (https://www.youtube.com/channel/UCpaq31GdKM0sqDOiT30g0pg)ClickHouse® 课程 - 关于 ClickHouse® 的综合开发者课程 (https://www.tinybird.co/clickhouse-course) 构建 模板库 - 探索我们的模板集合 (https://www.tinybird.co/templates)Tinybird 构建 - 我们与合作伙伴一起使用 Tinybird 实时构建项目 (https://www.tinybird.co/builds)更新日志 - Tinybird 的最新动态 (https://www.tinybird.co/docs/changelog) 社区 Slack 社区 - 加入我们的 Slack 社区,获取帮助并分享想法 (https://www.tinybird.co/docs/community)开源计划 - 获取帮助将 Tinybird 集成到您的开源项目 (https://www.tinybird.co/open-source-program)Schema 演进 - 加入阅读量最高的技术双周刊工程通讯 (https://www.tinybird.co/schema-evolution) ## 博客 ## 跳过基础设施工作。立即部署您的第一个 ClickHouse® 项目\. 免费开始 (https://cloud.tinybird.co/signup)阅读文档 (https://www.tinybird.co/docs/forward/quickstarts) 由矩形矩阵组成的几何装饰图案。 产品/ 观看演示 (https://www.youtube.com/watch?v=XB4UPBuSDSM)定价 (https://www.tinybird.co/pricing)安全 (https://www.tinybird.co/security)联系销售 (https://www.tinybird.co/contact-us) 公司/ 关于我们 (https://www.tinybird.co/about)商店 (https://shop.tinybird.co/)加入我们 (https://www.tinybird.co/about#join-us) 功能/ 托管型 ClickHouse (https://www.tinybird.co/product/managed-clickhouse)数据接入 (https://www.tinybird.co/product/ingest)数据查询 (https://www.tinybird.co/product/query)Kafka 连接器 (https://www.tinybird.co/product/kafka)以 AI 为中心的开发者体验 (https://www.tinybird.co/product/ai)Schema 迭代 (https://www.tinybird.co/product/schema-iteration)分支环境 (https://www.tinybird.co/product/branches)工作区 (https://www.tinybird.co/product/workspace)集群管理 (https://www.tinybird.co/product/cluster-management)组织管理 (https://www.tinybird.co/product/organizations) 支持/ 支持计划 (https://www.tinybird.co/product/support)文档 (https://www.tinybird.co/docs/forward/support)SQL 参考 (https://www.tinybird.co/docs/sql-reference)社区 (https://www.tinybird.co/docs/community)更新日志 (https://www.tinybird.co/docs/changelog) 资源/ 可观测性 (https://www.tinybird.co/observability)博客 (https://www.tinybird.co/blog)AI 资源 (https://www.tinybird.co/blog/category/ai-resources)客户案例 (https://www.tinybird.co/customer-stories)模板库 (https://www.tinybird.co/templates)Tinybird 构建 (https://www.tinybird.co/builds)术语表 (https://www.tinybird.co/glossary)RSS 订阅 (https://www.tinybird.co/blog/rss.xml)通讯订阅 (https://www.tinybird.co/schema-evolution) 集成/ Apache Kafka (https://www.tinybird.co/docs/forward/get-data-in/connectors/kafka)Confluent Cloud (https://www.tinybird.co/docs/forward/get-data-in/connectors/kafka)Redpanda (https://www.tinybird.co/docs/forward/get-data-in/connectors/kafka)Google BigQuery (https://www.tinybird.co/docs/forward/get-data-in/guides/ingest-from-bigquery-using-google-cloud-storage)Snowflake (https://www.tinybird.co/docs/forward/get-data-in/guides/ingest-from-snowflake-using-aws-s3)Postgres 表函数 (https://www.tinybird.co/docs/forward/get-data-in/table-functions/postgresql)Amazon DynamoDB (https://www.tinybird.co/docs/forward/get-data-in/connectors)Amazon S3 (https://www.tinybird.co/docs/forward/get-data-in/connectors/s3) 用例/ (https://www.tinybird.co/docs/use-cases)面向用户的仪表板 (https://www.tinybird.co/docs/use-cases/user-facing-dashboards)实时变更数据捕获 \(CDC\) (https://www.tinybird.co/docs/use-cases/realtime-cdc)游戏分析 (https://www.tinybird.co/docs/use-cases/gaming-analytics)网页分析 (https://www.tinybird.co/docs/use-cases/web-analytics)实时个性化 (https://www.tinybird.co/docs/use-cases/realtime-personalization)用户生成内容 \(UGC\) 分析 (https://www.tinybird.co/docs/use-cases/ugc-analytics)内容推荐系统 (https://www.tinybird.co/docs/use-cases/content-recommendation)向量搜索 (https://www.tinybird.co/docs/use-cases/vector-search) 所有系统正常运行 (https://status.tinybird.co/) 版权所有 ©2026Tinybird\. 保留所有权利 \| 条款和条件 (https://www.tinybird.co/terms-and-conditions)Cookie 政策 (https://www.tinybird.co/privacy#cookies)信任中心 (https://trust.tinybird.co/)合规热线 (https://tinybird.factorialhr.co/complaints) Tinybird 文字标识

相似文章

ClickHouse 正在赢得可观测性之战

Lobsters Hottest

本文认为,ClickHouse 凭借其处理高吞吐量、时序日志的性能优势,解决了长期以来日志管理的痛点,从而成为可观测性领域的主流数据库。

毫秒必争

Lobsters Hottest

这篇博客文章详细介绍了渐进式优化,以将ClickHouse查询延迟从超过85秒降低至亚秒级,包括对分区键的修改、连接消除和激进合并。

Andy Pavlo 加入 ClickHouse,创立 ClickHouse Labs

Hacker News Top

卡内基梅隆大学知名数据库教授 Andy Pavlo 加入 ClickHouse,创立并领导 ClickHouse Labs——一个专注于推进数据库技术并将创新成果融入 ClickHouse 和 PostgreSQL 的新研究团队。