kibana新增es索引数据 kibana删除索引数据

目录

 

1.Elasticsearch介绍和安装

1.1.简介

1.1.1.Elastic

1.1.2.Elasticsearch

1.1.3.版本

1.2.安装和配置

1.2.1.新建一个用户leyou

1.2.2.上传安装包,并解压

1.2.3.修改配置

1.3.运行

1.3.1.错误1：内核过低

1.3.2.错误2：文件权限不足

1.3.3.错误3：线程数不够

1.3.4.错误4：进程虚拟内存

1.3.5.重启终端窗口

1.3.6.启动

1.4.安装kibana

1.4.1.什么是Kibana？

1.4.2.安装

1.4.3.配置运行

1.4.4.控制台

1.5.安装ik分词器

1.5.1.安装

1.5.2.测试

1.7.API

1.7.1.Rest风格API

1.7.2.客户端API

2.操作索引

2.1.基本概念

2.2.创建索引

2.2.1.语法

2.2.2.测试

2.2.3.使用kibana创建

2.3.查看索引设置

2.4.删除索引

2.5.映射配置

2.5.1.创建映射字段

2.5.2.查看映射关系

2.5.3.字段属性详解

2.6.新增数据

2.6.1.随机生成id

2.6.2.自定义id

2.6.3.智能判断

2.7.修改数据

2.8.删除数据

 

---

1.Elasticsearch介绍和安装

1.1.简介

1.1.1.Elastic

Elastic官网：https://www.elastic.co/cn/  

 

Elastic有一条完整的产品线及解决方案：Elasticsearch、Kibana、Logstash等，前面说的三个就是大家常说的ELK技术栈。  

 

1.1.2.Elasticsearch

Elasticsearch官网：https://www.elastic.co/cn/products/elasticsearch

 

如上所述，Elasticsearch具备以下特点：

• 分布式，无需人工搭建集群（solr就需要人为配置，使用Zookeeper作为注册中心）
• Restful风格，一切API都遵循Rest原则，容易上手
• 近实时搜索，数据更新在Elasticsearch中几乎是完全同步的。

1.1.3.版本

目前Elasticsearch最新的版本是6.3.1，我们就使用6.3.0

 

需要虚拟机JDK1.8及以上  

1.2.安装和配置

在linux下安装Elasticsearch。  

1.2.1.新建一个用户leyou

出于安全考虑，elasticsearch默认不允许以root账号运行。

创建用户：

useradd leyou

 设置密码：

passwd leyou

切换用户：

su - leyou

1.2.2.上传安装包,并解压

我们将安装包上传到：/home/leyou目录

 

 

解压缩：  

tar -zxvf elasticsearch-6.2.4.tar.gz

 我们把目录重命名：

mv elasticsearch-6.2.4/ elasticsearch

进入，查看目录结构：  

1.2.3.修改配置

我们进入config目录：cd config

需要修改的配置文件有两个：

 

1. jvm.options

Elasticsearch基于Lucene的，而Lucene底层是java实现，因此我们需要配置jvm参数。

编辑jvm.options：

vim jvm.options

 默认配置如下：

-Xms1g
-Xmx1g

 内存占用太多了，我们调小一些：

-Xms512m
-Xmx512m

 elasticsearch.yml

vim elasticsearch.yml

修改数据和日志目录：

path.data: /home/leyou/elasticsearch/data # 数据目录位置
path.logs: /home/leyou/elasticsearch/logs # 日志目录位置

修改绑定的ip：

network.host: 0.0.0.0 # 绑定到0.0.0.0，允许任何ip来访问

 默认只允许本机访问，修改为0.0.0.0后则可以远程访问

我们把data和logs目录修改指向了elasticsearch的安装目录。但是这两个目录并不存在，因此我们需要创建出来。

进入elasticsearch的根目录，然后创建：

mkdir data
mkdir logs

目前我们是做的单机安装，如果要做集群，只需要在这个配置文件中添加其它节点信息即可。

 elasticsearch.yml的其它可配置信息：

属性名	说明
cluster.name	配置elasticsearch的集群名称，默认是elasticsearch。建议修改成一个有意义的名称。
node.name	节点名，es会默认随机指定一个名字，建议指定一个有意义的名称，方便管理
path.conf	设置配置文件的存储路径，tar或zip包安装默认在es根目录下的config文件夹，rpm安装默认在/etc/ elasticsearch
path.data	设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开
path.logs	设置日志文件的存储路径，默认是es根目录下的logs文件夹
path.plugins	设置插件的存放路径，默认是es根目录下的plugins文件夹
bootstrap.memory_lock	设置为true可以锁住ES使用的内存，避免内存进行swap
network.host	设置bind_host和publish_host，设置为0.0.0.0允许外网访问
http.port	设置对外服务的http端口，默认为9200。
transport.tcp.port	集群结点之间通信端口
discovery.zen.ping.timeout	设置ES自动发现节点连接超时的时间，默认为3秒，如果网络延迟高可设置大些
discovery.zen.minimum_master_nodes	主结点数量的最少值 ,此值的公式为：(master_eligible_nodes / 2) + 1 ，比如：有3个符合要求的主结点，那么这里要设置为2

1.3.运行

进入elasticsearch/bin目录，可以看到下面的执行文件：

 

然后输入命令：

./elasticsearch

 发现报错了，启动失败：

1.3.1.错误1：内核过低

 

 

我们使用的是centos6，其linux内核版本为2.6。而Elasticsearch的插件要求至少3.5以上版本。不过没关系，我们禁用这个插件即可。

修改elasticsearch.yml文件，在最下面添加如下配置：

bootstrap.system_call_filter: false

 然后重启

1.3.2.错误2：文件权限不足

再次启动，又出错了：

[1]: max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

 我们用的是leyou用户，而不是root，所以文件权限不足。

首先用root用户登录。

然后修改配置文件:

vim /etc/security/limits.conf

添加下面的内容：

* soft nofile 65536

* hard nofile 131072

* soft nproc 4096

* hard nproc 4096

1.3.3.错误3：线程数不够

刚才报错中，还有一行：

[1]: max number of threads [1024] for user [leyou] is too low, increase to at least [4096]

 这是线程数不够。

继续修改配置：

vim /etc/security/limits.d/90-nproc.conf

 修改下面的内容：

* soft nproc 1024

 改为：

* soft nproc 4096

1.3.4.错误4：进程虚拟内存

[3]: max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

vm.max_map_count：限制一个进程可以拥有的VMA(虚拟内存区域)的数量，继续修改配置文件， ：

vim /etc/sysctl.conf

添加下面内容：

vm.max_map_count=655360

然后执行命令：

sysctl -p

1.3.5.重启终端窗口

所有错误修改完毕，一定要重启你的 Xshell终端，否则配置无效。

1.3.6.启动

再次启动，终于成功了！

可以看到绑定了两个端口:

• 9300：集群节点间通讯接口
• 9200：客户端访问接口

我们在浏览器中访问：http://192.168.56.101:9200

 

 

1.4.安装kibana

1.4.1.什么是Kibana？

Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具，可以利用Elasticsearch的聚合功能，生成各种图表，如柱形图，线状图，饼图等。

而且还提供了操作Elasticsearch索引数据的控制台，并且提供了一定的API提示，非常有利于我们学习Elasticsearch的语法。

1.4.2.安装

因为Kibana依赖于node，我们的虚拟机没有安装node，而window中安装过。所以我们选择在window下使用kibana。

最新版本与elasticsearch保持一致，也是6.3.0

 

解压到特定目录即可

1.4.3.配置运行

配置

进入安装目录下的config目录，修改kibana.yml文件：

修改elasticsearch服务器的地址：

elasticsearch.url: "http://192.168.56.101:9200"

运行

进入安装目录下的bin目录：

 

双击运行：

 

发现kibana的监听端口是5601

我们访问：http://127.0.0.1:5601

 

1.4.4.控制台

选择左侧的DevTools菜单，即可进入控制台页面：

 

在页面右侧，我们就可以输入请求，访问Elasticsearch了。

 

1.5.安装ik分词器

Lucene的IK分词器早在2012年已经没有维护了，现在我们要使用的是在其基础上维护升级的版本，并且开发为ElasticSearch的集成插件了，与Elasticsearch一起维护升级，版本也保持一致，最新版本：6.3.0

1.5.1.安装

解压到Elasticsearch目录的plugins目录中：  

 

使用unzip命令解压：

unzip elasticsearch-analysis-ik-6.3.0.zip -d ik-analyzer

 然后重启elasticsearch：

 

1.5.2.测试

大家先不管语法，我们先测试一波。

在kibana控制台输入下面的请求：

POST _analyze
{
  "analyzer": "ik_max_word",
  "text":     "我是中国人"
}

 运行得到结果：

{
  "tokens": [
    {
      "token": "我",
      "start_offset": 0,
      "end_offset": 1,
      "type": "CN_CHAR",
      "position": 0
    },
    {
      "token": "是",
      "start_offset": 1,
      "end_offset": 2,
      "type": "CN_CHAR",
      "position": 1
    },
    {
      "token": "中国人",
      "start_offset": 2,
      "end_offset": 5,
      "type": "CN_WORD",
      "position": 2
    },
    {
      "token": "中国",
      "start_offset": 2,
      "end_offset": 4,
      "type": "CN_WORD",
      "position": 3
    },
    {
      "token": "国人",
      "start_offset": 3,
      "end_offset": 5,
      "type": "CN_WORD",
      "position": 4
    }
  ]
}

1.7.API

Elasticsearch提供了Rest风格的API，即http请求接口，而且也提供了各种语言的客户端API

1.7.1.Rest风格API

文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

1.7.2.客户端API

Elasticsearch支持的客户端非常多：https://www.elastic.co/guide/en/elasticsearch/client/index.html

点击Java Rest Client后，你会发现又有两个：

 

Low Level Rest Client是低级别封装，提供一些基础功能，但更灵活

High Level Rest Client，是在Low Level Rest Client基础上进行的高级别封装，功能更丰富和完善，而且API会变的简单

 

2.操作索引

2.1.基本概念

Elasticsearch也是基于Lucene的全文检索库，本质也是存储数据，很多概念与MySQL类似的。

对比关系：

索引（indices）--------------------------------Databases 数据库

类型（type）-----------------------------Table 数据表

文档（Document）----------------Row 行

字段（Field）-------------------Columns 列

 

详细说明：

概念	说明
索引库（indices)	indices是index的复数，代表许多的索引，
类型（type）	类型是模拟mysql中的table概念，一个索引库下可以有不同类型的索引，比如商品索引，订单索引，其数据格式不同。不过这会导致索引库混乱，因此未来版本中会移除这个概念
文档（document）	存入索引库原始的数据。比如每一条商品信息，就是一个文档
字段（field）	文档中的属性
映射配置（mappings）	字段的数据类型、属性、是否索引、是否存储等特性

是不是与Lucene和solr中的概念类似。

另外，在SolrCloud中，有一些集群相关的概念，在Elasticsearch也有类似的：

• 索引集（Indices，index的复数）：逻辑上的完整索引
• 分片（shard）：数据拆分后的各个部分
• 副本（replica）：每个分片的复制

要注意的是：Elasticsearch本身就是分布式的，因此即便你只有一个节点，Elasticsearch默认也会对你的数据进行分片和副本操作，当你向集群添加新数据时，数据也会在新加入的节点中进行平衡。  

 

2.2.创建索引

2.2.1.语法

Elasticsearch采用Rest风格API，因此其API就是一次http请求，你可以用任何工具发起http请求

创建索引的请求格式：

• 请求方式：PUT
• 请求路径：/索引库名
• 请求参数：json格式：

{
    "settings": {
        "number_of_shards": 3,
        "number_of_replicas": 2
      }
}

 

settings：索引库的设置

• number_of_shards：分片数量
• number_of_replicas：副本数量

2.2.2.测试

我们先用RestClient来试试

 

响应：

 

可以看到索引创建成功了。

2.2.3.使用kibana创建

kibana的控制台，可以对http请求进行简化，示例：

 

相当于是省去了elasticsearch的服务器地址

而且还有语法提示，非常舒服。

 

2.3.查看索引设置

语法

Get请求可以帮我们查看索引信息，格式：

GET /索引库名

或者，我们可以使用*来查询所有索引库配置：

 

2.4.删除索引

删除索引使用DELETE请求

语法

DELETE /索引库名

示例

 

再次查看heima2：

 

当然，我们也可以用HEAD请求，查看索引是否存在：

 

2.5.映射配置

索引有了，接下来肯定是添加数据。但是，在添加数据之前必须定义映射。

什么是映射？

映射是定义文档的过程，文档包含哪些字段，这些字段是否保存，是否索引，是否分词等

只有配置清楚，Elasticsearch才会帮我们进行索引库的创建（不一定）

2.5.1.创建映射字段

语法

请求方式依然是PUT

PUT /索引库名/_mapping/类型名称
{
  "properties": {
    "字段名": {
      "type": "类型",
      "index": true，
      "store": true，
      "analyzer": "分词器"
    }
  }
}

 

• 类型名称：就是前面将的type的概念，类似于数据库中的不同表 字段名：任意填写 ，可以指定许多属性，例如：
• type：类型，可以是text、long、short、date、integer、object等
• index：是否索引，默认为true
• store：是否存储，默认为false
• analyzer：分词器，这里的ik_max_word即使用ik分词器

示例

发起请求：

PUT heima/_mapping/goods
{
  "properties": {
    "title": {
      "type": "text",
      "analyzer": "ik_max_word"
    },
    "images": {
      "type": "keyword",
      "index": "false"
    },
    "price": {
      "type": "float"
    }
  }
}

响应结果：

{
  "acknowledged": true
}

2.5.2.查看映射关系

语法：

GET /索引库名/_mapping

 

示例：

GET /heima/_mapping

响应：

 

 

2.5.3.字段属性详解

2.5.3.1.type

Elasticsearch中支持的数据类型非常丰富：

我们说几个关键的：

• String类型，又分两种：

• text：可分词，不可参与聚合
• keyword：不可分词，数据会作为完整字段进行匹配，可以参与聚合

• Numerical：数值类型，分两类

• 基本数据类型：long、interger、short、byte、double、float、half_float
• 浮点数的高精度类型：scaled_float

• 需要指定一个精度因子，比如10或100。elasticsearch会把真实值乘以这个因子后存储，取出时再还原。

• Date：日期类型
  elasticsearch可以对日期格式化为字符串存储，但是建议我们存储为毫秒值，存储为long，节省空间。

2.5.3.2.index

index影响字段的索引情况。

• true：字段会被索引，则可以用来进行搜索。默认值就是true
• false：字段不会被索引，不能用来搜索

index的默认值就是true，也就是说你不进行任何配置，所有字段都会被索引。

但是有些字段是我们不希望被索引的，比如商品的图片信息，就需要手动设置index为false。

2.5.3.3.store

是否将数据进行额外存储。

在学习lucene和solr时，我们知道如果一个字段的store设置为false，那么在文档列表中就不会有这个字段的值，用户的搜索结果中不会显示出来。但是在Elasticsearch中，即便store设置为false，也可以搜索到结果。

原因是Elasticsearch在创建文档索引时，会将文档中的原始数据备份，保存到一个叫做_source的属性中。而且我们可以通过过滤_source来选择哪些要显示，哪些不显示。

而如果设置store为true，就会在_source以外额外存储一份数据，多余，因此一般我们都会将store设置为false，事实上，store的默认值就是false。

2.5.3.4.boost

激励因子，这个与lucene中一样

其它的不再一一讲解，用的不多，大家参考官方文档：

 

2.6.新增数据

2.6.1.随机生成id

通过POST请求，可以向一个已经存在的索引库中添加数据。

语法：

POST /索引库名/类型名
{
    "key":"value"
}

 示例：

POST /heima/goods/
{
    "title":"小米手机",
    "images":"http://image.leyou.com/12479122.jpg",
    "price":2699.00
}

响应：

{
  "_index": "heima",
  "_type": "goods",
  "_id": "r9c1KGMBIhaxtY5rlRKv",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 3,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 0,
  "_primary_term": 2
}

通过kibana查看数据：

get _search
{
    "query":{
        "match_all":{}
    }
}

{
  "_index": "heima",
  "_type": "goods",
  "_id": "r9c1KGMBIhaxtY5rlRKv",
  "_version": 1,
  "_score": 1,
  "_source": {
    "title": "小米手机",
    "images": "http://image.leyou.com/12479122.jpg",
    "price": 2699
  }
}

• _source：源文档信息，所有的数据都在里面。
• _id：这条文档的唯一标示，与文档自己的id字段没有关联

2.6.2.自定义id

如果我们想要自己新增的时候指定id，可以这么做：

POST /索引库名/类型/id值
{
    ...
}

 示例：

POST /heima/goods/2
{
    "title":"大米手机",
    "images":"http://image.leyou.com/12479122.jpg",
    "price":2899.00
}

得到的数据：

{
  "_index": "heima",
  "_type": "goods",
  "_id": "2",
  "_score": 1,
  "_source": {
    "title": "大米手机",
    "images": "http://image.leyou.com/12479122.jpg",
    "price": 2899
  }
}

2.6.3.智能判断

在学习Solr时我们发现，我们在新增数据时，只能使用提前配置好映射属性的字段，否则就会报错。

不过在Elasticsearch中并没有这样的规定。

事实上Elasticsearch非常智能，你不需要给索引库设置任何mapping映射，它也可以根据你输入的数据来判断类型，动态添加数据映射。

测试一下：

我们额外添加了stock库存，和saleable是否上架两个字段。

来看结果：

 

在看下索引库的映射关系:  

 

 stock和saleable都被成功映射了

2.7.修改数据

把刚才新增的请求方式改为PUT，就是修改了。不过修改必须指定id，

• id对应文档存在，则修改
• id对应文档不存在，则新增

比如，我们把id为3的数据进行修改：

 

结果：  

 

2.8.删除数据

删除使用DELETE请求，同样，需要根据id进行删除：

语法 DELETE /索引库名/类型名/id值

示例：