ElasticSearch - 1 概述 & 脚本操作

1.1 基于数据库查询的问题

es 搭建好之后是否要初始化_倒排索引

  • 性能低 最左匹配原则
  • 功能弱
  • 查询“华为手机”

数据结构和算法演示网站：https://www.cs.usfca.edu/~galles/visualization/Algorithms.html

1.2 倒排索引 (重点)

倒排索引：将文档进行分词，形成词条和id的对应关系即为反向索引

以唐诗为例，所处包含“前”的诗句
正向索引：由《静夜思》-->窗前明月光--->“前”字

反向索引：“前”字-->窗前明月光-->《静夜思》
反向索引的实现就是对诗句进行分词，分成单个的词，由词推据，即为反向索引

“床前明月光”--> 分词
将一段文本按照一定的规则，拆分为不同的词条（term）

es 搭建好之后是否要初始化_docker_02

1.3 ES存储和查询的原理 (重点)

es 搭建好之后是否要初始化_docker_03

空间换时间

**
**

生成的倒排索引中，词条会排序，形成一颗树形结构，提升词条的查询速度

1. 使用“华为”作为关键字查询
   华为：1,3
2. 使用“华为手机”作为关键字查询
   华为：1,3
   手机：1,2,3

1.4 ES概念详解

  • ElasticSearch是一个基于Lucene的搜索服务器

es 搭建好之后是否要初始化_倒排索引_04


  • 是一个分布式、高扩展、高实时的搜索与数据分析引擎
  • 基于RESTful web接口
  • Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎
  • 官网：https://www.elastic.co/
  • 应用场景
  • 搜索：海量数据的查询
  • 日志数据分析 ELK
  • 实时数据分析
  • ES和MySql分工不同

2 ES及辅助工具的安装

2.1 ES的安装

2.1.1 方案一：原生的安装方式

参见安装文档

2.1.2 方案二：使用提供的虚拟机

  • 安装ES

开启ES服务

docker start elasticsearch

如果启动等一会（两分钟）后没有反应，重启docker后再次启动es

# 重启docker服务
systemctl restart docker
# 重启ES服务
docker start elasticsearch

测试地址：http://192.168.31.130:9200/

  • 安装Kibana

注意：一定要等ES启动完成之后，再启动kibana

启动kibana

docker start kibana

测试地址：http://192.168.31.130:5601/

3 ElasticSearch核心概念（重点）

  • 索引（index）
  • ElasticSearch存储数据的地方，可以理解成关系型数据库中的数据库概念。
  • 映射（mapping）
  • mapping定义了每个字段的名称、类型、字段所使用的分词器等。相当于关系型数据库中的表结构。
  • 文档（document）
  • Elasticsearch中的最小数据单元，常以json格式显示。一个document相当于关系型数据库中的一行数据。
  • 倒排索引
  • 一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，对应一个包含它的文档id列表。
  • 类型（type） （了解）
  • 一种type就像一类表。如用户表、角色表等。在Elasticsearch7.X默认type为_doc
  • ES 5.x中一个index可以有多种type
  • ES 6.x中一个index只能有一种type
  • ES 7.x以后，将逐步移除type这个概念，现在的操作已经不再使用，默认_doc

4 脚本操作ES

4.1 RESTful风格介绍

  1. REST（Representational State Transfer），表述性状态转移，是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是RESTful。就是一种定义接口的规范。
  2. 基于HTTP。
  3. 使用XML格式定义或JSON格式定义。
  4. 每一个URI代表1种资源。
  5. 客户端使用GET、POST、PUT、DELETE 4个表示操作方式的动词对服务端资源进行操作：
  1. GET：用来获取资源
  2. POST：用来新建资源（也可以用于更新资源）
  3. PUT：用来更新资源
  4. DELETE：用来删除资源

es 搭建好之后是否要初始化_倒排索引_05

4.2 操作索引

PUT

http://ip:端口/索引名称

查询

GET http://ip:端口/索引名称  # 查询单个索引信息
GET http://ip:端口/索引名称1,索引名称2...  # 查询多个索引信息
GET http://ip:端口/_all  # 查询所有索引信息

删除索引

DELETE http://ip:端口/索引名称

关闭、打开索引

POST http://ip:端口/索引名称/_close  
POST http://ip:端口/索引名称/_open

4.3 ES数据类型

简单数据类型

  • 字符串
  • text：会分词，不支持聚合
  • keyword：不会分词，将全部内容作为一个词条，支持聚合

聚合：相当于mysql 中的sum（求和）

  • 数值

es 搭建好之后是否要初始化_docker_06

  • 布尔：boolean
  • 二进制：binary
  • 范围类型
  • integer_range, float_range, long_range, double_range, date_range
  • 日期:date

复杂数据类型

  • 数组：[ ] Nested: nested (for arrays of JSON objects 数组类型的JSON对象)
  • 对象：{ } Object: object(for single JSON objects 单个JSON对象)

4.4 操作映射（熟练）

添加映射

PUT person
 
 GET person
 #添加映射
 PUT /person/_mapping
 {
   "properties":{
     "name":{
       "type":"text"
     },
     "age":{
       "type":"integer"
     }
   }
 }

创建索引并添加映射

#创建索引并添加映射
PUT /person1
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text"
      },
      "age": {
        "type": "integer"
      }
    }
  }
}

GET person1/_mapping

添加字段

#添加字段
PUT /person1/_mapping
{
  "properties": {
      "name": {
        "type": "text"
      },
      "age": {
        "type": "integer"
      }
    }
}

4.5 操作文档（熟练）

查询所有文档

#查询所有文档
GET /person1/_search

根据id查询文档

GET /person1/_doc/1

添加文档，指定id

# POST 和 PUT 均可
POST /person1/_doc/2
{
  "name":"张三",
  "age":18,
  "address":"北京"
}

添加文档，不指定id

#添加文档，不指定id
POST /person1/_doc/
{
  "name":"张三",
  "age":18,
  "address":"北京"
}

删除指定id文档

#删除指定id文档
DELETE /person1/_doc/1