📌 第一部分：Elasticsearch 概览与定位

1.1 定义与全称

Elasticsearch 是一个基于 Apache Lucene 构建的分布式、RESTful 风格的搜索和分析引擎，由 Shay Banon 于 2010 年创建。Elasticsearch 是 ELK Stack（Elasticsearch + Logstash + Kibana）的核心组件，也是全球最流行的全文搜索引擎。

1.2 核心定位

Elasticsearch 的核心定位是 实时搜索与数据分析。它提供了：

• 分布式架构（水平扩展）
• RESTful API（JSON 交互）
• 全文搜索（基于 Lucene）
• 实时索引（近实时搜索）
• 聚合分析（数据统计和可视化）
• 地理空间查询（Geo）
• 高可用（集群 + 副本）
• 自动分片和负载均衡

1.3 主要应用领域

• 日志分析： ELK Stack 实时日志收集和分析
• 应用搜索： 网站/应用内搜索功能
• 安全分析： SIEM 安全信息和事件管理
• 业务分析： 实时数据统计和报表
• 可观测性： APM（应用性能监控）
• 推荐系统： 基于搜索的推荐
• 电商搜索： 商品搜索和过滤

1.4 知名案例

• Netflix： 使用 Elasticsearch 进行日志分析
• Uber： 使用 Elasticsearch 进行实时分析
• Adobe： 使用 Elasticsearch 构建搜索功能
• Wikipedia： 使用 Elasticsearch 提供站内搜索
• GitHub： 使用 Elasticsearch 进行代码搜索
• 国内： 阿里巴巴、腾讯、字节跳动大量使用

---

📜 第二部分：Elasticsearch 的历史与发展演进

2.1 诞生背景（2010年）

Shay Banon 在 2010 年创建了 Elasticsearch，最初是为了给妻子的食谱应用提供搜索功能。Elasticsearch 基于 Apache Lucene，但提供了更易用的 RESTful API 和分布式能力。

2.2 关键版本里程碑

• Elasticsearch 0.4（2010年）： 首次发布
• Elasticsearch 1.0（2014年）： 第一个稳定版本——正式生产可用
• Elasticsearch 2.0（2015年）： 性能优化、Pipeline Aggregations
• Elasticsearch 5.0（2016年）： 重大重构——移除 Groovy 脚本
• Elasticsearch 6.0（2017年）： 索引生命周期管理
• Elasticsearch 7.0（2019年）： 重大革新——移除多类型、默认使用 Lucene 8
• Elasticsearch 7.10（2020年）： 引入 EQL（事件查询语言）
• Elasticsearch 7.17（2022年）： LTS 版本
• Elasticsearch 8.0（2022年）： 默认启用安全、性能优化
• Elasticsearch 8.1（2022年）： 新聚合功能
• Elasticsearch 8.5（2022年）： 性能优化
• Elasticsearch 8.10（2023年）： 新特性
• Elasticsearch 8.11（2023年）： AI 增强
• Elasticsearch 8.14（2024年）： 最新版本

2.3 核心组件（ELK Stack）

• Elasticsearch： 搜索和分析引擎
• Logstash： 数据采集和处理管道
• Kibana： 数据可视化和仪表板
• Beats： 轻量级数据采集器

---

⚙️ 第三部分：核心概念与操作

3.1 核心概念

• 索引（Index）： 类似数据库的表
• 文档（Document）： JSON 格式的数据
• 字段（Field）： 文档中的键值对
• 映射（Mapping）： 类似数据库的 Schema
• 分片（Shard）： 数据分散到多个节点
• 副本（Replica）： 分片的备份（高可用）
• 节点（Node）： Elasticsearch 实例
• 集群（Cluster）： 多个节点组成集群

3.2 基本操作（RESTful API）

# 创建索引
PUT /products
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1
  },
  "mappings": {
    "properties": {
      "name": { "type": "text" },
      "price": { "type": "float" },
      "category": { "type": "keyword" },
      "description": { "type": "text" },
      "created_at": { "type": "date" }
    }
  }
}

# 插入文档
POST /products/_doc/1
{
  "name": "iPhone 15 Pro Max",
  "price": 999.99,
  "category": "Electronics",
  "description": "Apple iPhone 15 Pro Max - 256GB",
  "created_at": "2024-01-15"
}

# 批量插入
POST /products/_bulk
{"index": {"_id": "2"}}
{"name": "MacBook Pro", "price": 1999.99, "category": "Electronics"}
{"index": {"_id": "3"}}
{"name": "Samsung Galaxy S24", "price": 799.99, "category": "Electronics"}

3.3 全文搜索

# 基础搜索
GET /products/_search
{
  "query": {
    "match": {
      "name": "iPhone"
    }
  }
}

# 多字段搜索
GET /products/_search
{
  "query": {
    "multi_match": {
      "query": "Apple iPhone",
      "fields": ["name", "description"]
    }
  }
}

# 短语搜索
GET /products/_search
{
  "query": {
    "match_phrase": {
      "name": "Pro Max"
    }
  }
}

# 布尔查询
GET /products/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "category": "Electronics" } }
      ],
      "filter": [
        { "range": { "price": { "gte": 500 } } }
      ]
    }
  }
}

3.4 聚合分析

# 分组聚合
GET /products/_search
{
  "size": 0,
  "aggs": {
    "categories": {
      "terms": { "field": "category" }
    }
  }
}

# 统计聚合
GET /products/_search
{
  "size": 0,
  "aggs": {
    "avg_price": {
      "avg": { "field": "price" }
    },
    "max_price": {
      "max": { "field": "price" }
    },
    "min_price": {
      "min": { "field": "price" }
    }
  }
}

# 日期直方图
GET /logs/_search
{
  "size": 0,
  "aggs": {
    "daily": {
      "date_histogram": {
        "field": "timestamp",
        "calendar_interval": "day"
      }
    }
  }
}

# 嵌套聚合
GET /products/_search
{
  "size": 0,
  "aggs": {
    "categories": {
      "terms": { "field": "category" },
      "aggs": {
        "avg_price": {
          "avg": { "field": "price" }
        }
      }
    }
  }
}

3.5 地理空间查询

# 创建带地理位置的索引
PUT /stores
{
  "mappings": {
    "properties": {
      "name": { "type": "text" },
      "location": { "type": "geo_point" }
    }
  }
}

# 插入地理位置数据
POST /stores/_doc/1
{
  "name": "Store A",
  "location": {
    "lat": 39.9,
    "lon": 116.4
  }
}

# 附近搜索
GET /stores/_search
{
  "query": {
    "geo_distance": {
      "distance": "10km",
      "location": {
        "lat": 39.9,
        "lon": 116.4
      }
    }
  }
}

3.6 集群管理

# 查看集群状态
GET /_cluster/health

# 查看节点信息
GET /_cat/nodes?v

# 查看索引列表
GET /_cat/indices?v

# 查看分片状态
GET /_cat/shards?v

# 索引别名
POST /_aliases
{
  "actions": [
    { "add": { "index": "products", "alias": "search_products" } }
  ]
}

# 热-冷架构（索引生命周期管理）
PUT /_ilm/policy/hot_cold_policy
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {}
      },
      "warm": {
        "min_age": "30d",
        "actions": {}
      },
      "cold": {
        "min_age": "90d",
        "actions": {}
      },
      "delete": {
        "min_age": "365d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

---

⚖️ 第四部分：Elasticsearch 与其他技术对比

4.1 Elasticsearch vs Sphinx

• Elasticsearch： 分布式、实时索引、完整生态（ELK）
• Sphinx： 轻量级、单机部署、SQL 接口
• 建议： 大规模用 Elasticsearch，简单搜索用 Sphinx

4.2 Elasticsearch vs Solr

• Elasticsearch： 更易用、生态更完整、云原生友好
• Solr： 更成熟、功能更丰富、传统搜索
• 建议： 新项目用 Elasticsearch，传统项目用 Solr

4.3 Elasticsearch vs MongoDB

• Elasticsearch： 搜索为主、聚合分析、全文搜索
• MongoDB： 文档存储、通用数据库、事务支持
• 建议： 搜索用 Elasticsearch，主数据用 MongoDB

4.4 Elasticsearch vs PostgreSQL

• Elasticsearch： 分布式搜索、实时分析
• PostgreSQL： 关系型数据库、ACID 事务
• 建议： 搜索用 Elasticsearch，结构化数据用 PostgreSQL

---

🧠 第五部分：学习建议

推荐学习资源

• Elasticsearch 官方文档： elastic.co/guide
• 《Elasticsearch 权威指南》—— 全面介绍
• Elasticsearch 中文社区： elasticsearch.cn
• Kibana 文档： 数据可视化

---

🎯 总结升华