【ELK 学习】ElasticSearch

ELK：ElasticSearch存储，Logstash收集，Kibana展示
版本较多，使用时需要版本匹配，还需要和mysql版本匹配（elastic官网给了版本对应关系）

本次使用的版本es6.8.12
filebeat 轻量级的数据收集工具

ElasticSearch为文档搜索产生的
分布式文档搜索，lucene单线程搜索的组合
ElasticSearch也支持python

0.作用

大数据时代产生的应用：
1.分布式存储：hdfs
2.分布式计算：
离线计算：MapReduce、hive
实时计算：spark、Flink
3.分布式搜索引擎：ElasticSearch

海量数据、近实时处理

1. 核心概念

Index，Type，Document
对应到数据库：
数据库database=Index
表table=Type
一条记录row=Document

Index下面可以存储不同的type，但是大部分要相同，type是作为一个字段存储的（7.0之后不建议使用)
8.0之后一个index只能存储相同 type 的数据

shard，replica
hdfs的存储是物理切块（block）
primary shard 切片存储
replica shard 容错存储，每个切片都有一个容错副本

切片自己和容错存在不同的服务器（节点）上（部署集群）

2. 下载安装

windows版本
bin目录下，elasticsearch.bat点击启动

3. es的基本操作

Elasticsearch提供了基于JSON的DSL来定义查询
DSL语法

检查集群健康状况

索引

增删改

聚合分析

分组 count

用字符串分组需要指定fileddate=true

条件判断

平均数，求和

4. es的扩容实现

垂直扩容：节点扩容
水平扩容：添加新节点
水平扩容用的比较多