📌 第一部分：ClickHouse 概览与定位

1.1 定义与全称

ClickHouse 是由 Yandex 于 2016 年开源的列式数据库管理系统（DBMS），专为在线分析处理（OLAP）场景设计。ClickHouse 以其 极高的查询性能、高效的列式存储、强大的数据压缩 著称。

1.2 核心定位

ClickHouse 的核心定位是 实时 OLAP 分析数据库。它提供了：

• 列式存储（高压缩比，通常 5-10 倍）
• 向量化查询执行引擎（SIMD 优化）
• 实时数据写入（每秒数百万行）
• 毫秒级查询响应
• 分布式架构（水平扩展）
• SQL 标准支持（ANSI SQL）
• 数据压缩（LZ4、ZSTD）
• 与 Kafka、Spark 集成

1.3 主要应用领域

• 日志分析： 实时日志存储和分析
• BI 报表： 实时数据看板
• 用户行为分析： 点击流分析
• 物联网数据： 传感器数据存储
• 监控数据： 性能指标存储
• 广告分析： 实时广告数据统计
• 金融数据： 实时交易分析

1.4 知名案例

• Cloudflare： 使用 ClickHouse 处理日志
• Uber： 使用 ClickHouse 分析数据
• 阿里巴巴： 使用 ClickHouse 处理双 11 数据
• 腾讯： 使用 ClickHouse 分析游戏数据
• 字节跳动： 使用 ClickHouse 分析用户行为
• Yandex： ClickHouse 的创造者

---

📜 第二部分：ClickHouse 的历史与发展演进

2.1 诞生背景（2016年）

ClickHouse 于 2016 年由 Yandex 开源，最初用于 Yandex.Metrica（类似 Google Analytics）的实时数据存储和分析。ClickHouse 需要处理每秒数千亿行数据，并支持复杂的实时分析查询。

2.2 关键版本里程碑

• ClickHouse 1.0（2016年）： 首次开源发布
• ClickHouse 1.1（2017年）： 分布式查询优化
• ClickHouse 18.12（2018年）： 添加 JOIN 支持
• ClickHouse 19.14（2019年）： 添加窗口函数
• ClickHouse 20.3（2020年）： 添加物化视图
• ClickHouse 21.3（2021年）： 添加 JSON 支持
• ClickHouse 22.3（2022年）： 添加轻量级删除
• ClickHouse 23.3（2023年）： 添加全文搜索
• ClickHouse 24.3（2024年）： 最新版本

---

⚙️ 第三部分：核心概念与操作

3.1 基本概念

• 表引擎（Table Engine）： 决定数据如何存储和访问（MergeTree、ReplacingMergeTree、SummingMergeTree）
• MergeTree： 最核心的引擎，支持主键索引和分区
• 分区（Partition）： 按日期或业务字段分区
• 排序键（Ordering Key）： 决定数据在分区内的排序
• 主键（Primary Key）： 索引基础（稀疏索引）
• 物化视图： 预聚合视图
• 分布式表： 跨集群查询

3.2 创建表和插入数据

-- 创建表（MergeTree 引擎）
CREATE TABLE events (
    event_time DateTime,
    user_id UInt64,
    event_type String,
    session_id String,
    page_url String,
    duration UInt32
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_time)
ORDER BY (event_time, user_id)
SETTINGS index_granularity = 8192;

-- 插入数据
INSERT INTO events (event_time, user_id, event_type, session_id, page_url, duration)
VALUES
    ('2024-01-15 10:00:00', 1001, 'view', 'sess_001', '/home', 120),
    ('2024-01-15 10:05:00', 1001, 'click', 'sess_001', '/product/123', 0),
    ('2024-01-15 10:10:00', 1002, 'view', 'sess_002', '/about', 80);

-- 批量插入（推荐）
INSERT INTO events
SELECT
    toDateTime('2024-01-15 10:00:00') + toIntervalSecond(number),
    rand() % 10000,
    ['view', 'click', 'purchase', 'share'][rand() % 4 + 1],
    concat('sess_', toString(rand() % 1000)),
    concat('/page_', toString(rand() % 100)),
    rand() % 300
FROM numbers(1000000);

3.3 查询分析

-- 基础查询
SELECT COUNT(*) FROM events;

-- 分组统计
SELECT
    event_type,
    COUNT(*) as count,
    AVG(duration) as avg_duration
FROM events
WHERE event_time >= '2024-01-15'
GROUP BY event_type
ORDER BY count DESC;

-- 时间聚合（按小时）
SELECT
    toStartOfHour(event_time) as hour,
    COUNT(*) as events,
    COUNT(DISTINCT user_id) as users
FROM events
GROUP BY hour
ORDER BY hour;

-- 漏斗分析
SELECT
    event_type,
    COUNT(DISTINCT user_id) as users
FROM events
WHERE event_time BETWEEN '2024-01-15' AND '2024-01-16'
GROUP BY event_type
ORDER BY event_type;

-- 窗口函数
SELECT
    user_id,
    event_time,
    event_type,
    row_number() OVER (PARTITION BY user_id ORDER BY event_time) as event_seq
FROM events
WHERE event_time >= '2024-01-15'
LIMIT 100;

3.4 高级特性

-- 物化视图（预聚合）
CREATE MATERIALIZED VIEW events_hourly
ENGINE = SummingMergeTree()
PARTITION BY toYYYYMM(hour)
ORDER BY (hour, event_type)
AS SELECT
    toStartOfHour(event_time) as hour,
    event_type,
    COUNT(*) as count,
    SUM(duration) as total_duration
FROM events
GROUP BY hour, event_type;

-- 查询物化视图
SELECT * FROM events_hourly
WHERE hour >= '2024-01-15'
ORDER BY hour;

-- 分布式表（需要集群）
CREATE TABLE events_distributed
ENGINE = Distributed('cluster_name', 'default', 'events', rand());

-- 查询分布式表
SELECT COUNT(*) FROM events_distributed;

-- 窗口函数（排名）
SELECT
    user_id,
    SUM(duration) as total_duration,
    rank() OVER (ORDER BY total_duration DESC) as rank
FROM events
GROUP BY user_id
ORDER BY rank
LIMIT 10;

-- JSON 支持
CREATE TABLE logs (
    ts DateTime,
    data JSON
) ENGINE = MergeTree()
ORDER BY ts;

INSERT INTO logs (ts, data)
VALUES
    (now(), '{"level": "info", "message": "User logged in", "user_id": 1001}'),
    (now(), '{"level": "error", "message": "Database connection failed", "code": 500}');

-- 查询 JSON 字段
SELECT
    ts,
    data.level,
    data.message
FROM logs
WHERE data.level = 'error';

3.5 与 Kafka 集成

-- 创建 Kafka 表引擎（消费 Kafka 数据）
CREATE TABLE events_kafka (
    event_time DateTime,
    user_id UInt64,
    event_type String,
    session_id String,
    page_url String,
    duration UInt32
) ENGINE = Kafka()
SETTINGS
    kafka_broker_list = 'localhost:9092',
    kafka_topic_list = 'events',
    kafka_group_name = 'clickhouse_consumer',
    kafka_format = 'JSONEachRow';

-- 创建物化视图，自动写入 MergeTree
CREATE MATERIALIZED VIEW events_mv TO events
AS SELECT * FROM events_kafka;

---

⚖️ 第四部分：ClickHouse vs 其他数据库

对比项	ClickHouse	MySQL	Elasticsearch	Snowflake
类型	列式 OLAP	行式 OLTP	搜索引擎	云数仓
查询性能	极快	快	快	快
压缩比	5-10x	1x	1-2x	5-10x
写入速度	极高	高	高	高
SQL 支持	✅	✅	❌	✅
事务支持	❌	✅	❌	❌
适用场景	实时分析	OLTP	全文搜索	企业数仓

---

🧠 第五部分：学习建议

推荐学习资源

• ClickHouse 官方文档： clickhouse.com/docs
• 《ClickHouse 实战》—— 全面入门
• ClickHouse 社区： 中文社区活跃
• Altinity 博客： ClickHouse 最佳实践

---

🎯 总结升华