ElasticSearch - 1 概述 & 脚本操作
1.1 基于数据库查询的问题
- 性能低 最左匹配原则
- 功能弱
- 查询“华为手机”
数据结构和算法演示网站:https://www.cs.usfca.edu/~galles/visualization/Algorithms.html
1.2 倒排索引 (重点)
倒排索引:将文档进行分词,形成词条和id的对应关系即为反向索引
以唐诗为例,所处包含“前”的诗句
正向索引:由《静夜思》-->窗前明月光--->“前”字
反向索引:“前”字-->窗前明月光-->《静夜思》
反向索引的实现就是对诗句进行分词,分成单个的词,由词推据,即为反向索引
“床前明月光”--> 分词
将一段文本按照一定的规则,拆分为不同的词条(term)
1.3 ES存储和查询的原理 (重点)
空间换时间
**
**
生成的倒排索引中,词条会排序,形成一颗树形结构,提升词条的查询速度
1. 使用“华为”作为关键字查询
华为:1,3
2. 使用“华为手机”作为关键字查询
华为:1,3
手机:1,2,3
1.4 ES概念详解
- ElasticSearch是一个基于Lucene的搜索服务器
- 是一个分布式、高扩展、高实时的搜索与数据分析引擎
- 基于RESTful web接口
- Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎
- 官网:https://www.elastic.co/
- 应用场景
- 搜索:海量数据的查询
- 日志数据分析 ELK
- 实时数据分析
- ES和MySql分工不同
2 ES及辅助工具的安装
2.1 ES的安装
2.1.1 方案一:原生的安装方式
参见安装文档
2.1.2 方案二:使用提供的虚拟机
- 安装ES
开启ES服务
docker start elasticsearch
如果启动等一会(两分钟)后没有反应,重启docker后再次启动es
# 重启docker服务
systemctl restart docker
# 重启ES服务
docker start elasticsearch
测试地址:http://192.168.31.130:9200/
- 安装Kibana
注意:一定要等ES启动完成之后,再启动kibana
启动kibana
docker start kibana
测试地址:http://192.168.31.130:5601/
3 ElasticSearch核心概念(重点)
- 索引(index)
- ElasticSearch存储数据的地方,可以理解成关系型数据库中的数据库概念。
- 映射(mapping)
- mapping定义了每个字段的名称、类型、字段所使用的分词器等。相当于关系型数据库中的表结构。
- 文档(document)
- Elasticsearch中的最小数据单元,常以json格式显示。一个document相当于关系型数据库中的一行数据。
- 倒排索引
- 一个倒排索引由文档中所有不重复词的列表构成,对于其中每个词,对应一个包含它的文档id列表。
- 类型(type) (了解)
- 一种type就像一类表。如用户表、角色表等。在Elasticsearch7.X默认type为_doc
- ES 5.x中一个index可以有多种type
- ES 6.x中一个index只能有一种type
- ES 7.x以后,将逐步移除type这个概念,现在的操作已经不再使用,默认_doc
4 脚本操作ES
4.1 RESTful风格介绍
- REST(Representational State Transfer),表述性状态转移,是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是RESTful。就是一种定义接口的规范。
- 基于HTTP。
- 使用XML格式定义或JSON格式定义。
- 每一个URI代表1种资源。
- 客户端使用GET、POST、PUT、DELETE 4个表示操作方式的动词对服务端资源进行操作:
- GET:用来获取资源
- POST:用来新建资源(也可以用于更新资源)
- PUT:用来更新资源
- DELETE:用来删除资源
4.2 操作索引
PUT
http://ip:端口/索引名称
查询
GET http://ip:端口/索引名称 # 查询单个索引信息
GET http://ip:端口/索引名称1,索引名称2... # 查询多个索引信息
GET http://ip:端口/_all # 查询所有索引信息
删除索引
DELETE http://ip:端口/索引名称
关闭、打开索引
POST http://ip:端口/索引名称/_close
POST http://ip:端口/索引名称/_open
4.3 ES数据类型
简单数据类型
- 字符串
- text:会分词,不支持聚合
- keyword:不会分词,将全部内容作为一个词条,支持聚合
聚合:相当于mysql 中的sum(求和)
- 数值
- 布尔:boolean
- 二进制:binary
- 范围类型
- integer_range, float_range, long_range, double_range, date_range
- 日期:date
复杂数据类型
- 数组:[ ] Nested:
nested
(for arrays of JSON objects 数组类型的JSON对象) - 对象:{ } Object: object(for single JSON objects 单个JSON对象)
4.4 操作映射(熟练)
添加映射
PUT person
GET person
#添加映射
PUT /person/_mapping
{
"properties":{
"name":{
"type":"text"
},
"age":{
"type":"integer"
}
}
}
创建索引并添加映射
#创建索引并添加映射
PUT /person1
{
"mappings": {
"properties": {
"name": {
"type": "text"
},
"age": {
"type": "integer"
}
}
}
}
GET person1/_mapping
添加字段
#添加字段
PUT /person1/_mapping
{
"properties": {
"name": {
"type": "text"
},
"age": {
"type": "integer"
}
}
}
4.5 操作文档(熟练)
查询所有文档
#查询所有文档
GET /person1/_search
根据id查询文档
GET /person1/_doc/1
添加文档,指定id
# POST 和 PUT 均可
POST /person1/_doc/2
{
"name":"张三",
"age":18,
"address":"北京"
}
添加文档,不指定id
#添加文档,不指定id
POST /person1/_doc/
{
"name":"张三",
"age":18,
"address":"北京"
}
删除指定id文档
#删除指定id文档
DELETE /person1/_doc/1