1. 搭建专用网络

1.1 登录专有网络管理控制台

阿里云Elasticsearch是搭建在专有网络上的,所以我们先开通阿里云专有网络, 点击开通 .

fa31e46bac3e39cb65c56f9669944f55f2ac3b5e

1.2 创建专有网络

点击创建专有网络

66594936cf1e67543726345b48e63ff4615aabd4

在专有网络名称和交换机上写好名字,后续在购买es和ecs时候对应需要。

参考链接:https://helpcdn.aliyun.com/document_detail/65430.html

2. 购买Elasticsearch服务

2.1 购买入口

9c5e34b0a5b4ef2a1ef1c1119bd2cff7050ed58a

2.2 购买服务

在订单页面上选择已经创建的专有网络并设置登录密码

8af1d288e9c9117c69c02e9c98d8df2e04feade6购买页面的登录账号默认为“elastic”,密码可自行设置,与登录Kibana的账号密码是一致的。

2.3 控制台查看状态

成功购买之后进入阿里云控制台选择大数据(数加)->阿里云Elasticsearch

443eb1202e5ce1eb3d61a651c2320fe9568ab960

2.4 登录kibana控制台

从控制台点击实例之后可以看到kibana控制台,并用购买时候的用户名和密码进行登录

c66bef07f71e3faf52c4689db4e6a747092516f0
2a17022449eae8cd8c17b07429decc1cabcbff62
4d8d4eb0d6ad0547040d6451acb92daf64dc9cec

2.5 测试Elasticsearch

通过以上步骤已经创建了Elasticsearch实例,做简单的测试可以通过Kibana的DevTools进行命令发送,但在此我们为了通过logstash抓取日志并推送到es中,因此还需要购买ecs实例安装logstash并与elasticsearch打通。

[点击参考详细测试步骤]( https://help.aliyun.com/document_detail/57877.html)。

3. 购买ECS实例

在专有网络控制台选择交换机,并选择购买ECS实例

9aeec36da466dee3a3f99f166dc22370d9e341fc

购买ecs步骤省略。

ssh root@49.52.196.12

8aebe365384055e40876258e9a1a50eb8043c93e

测试是否与es网络通畅

69b5249aa1cfb2bef066754c22719119384504e0

4. 安装logstash

4.1 安装logstash

b627bee5a7db2b4c77a41eeda4e885a6146428aa

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.3.tar.gz

tar -xzvf logstash-5.5.3.tar.gz

mv logstash-5.5.3 /usr/share/

ln –sf /usr/share/logstash/bin/logstash /bin/

4.2 创建索引

因为阿里云默认关闭了elasticsearch的自动创建索引功能,因此需要先创建好索引
curl -u elastic:elastic -XPUT http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index -d '{
	"blog_index":{
		"settings" : {
            "number_of_shards" : "1",
            "number_of_replicas" : "1"
          }
        },
        "mappings" : {
            "blog_type" : {
                "properties" : {
                    "uid" : {
                        "type" : "long"
                    },
                    "name" : {
                        "type" : "text"
                    },
                    "create_time" : {
                      "type" : "long"
                    }
                }
           }
       }
	}
}'

c11ba89021497c6f4777de3a7dba3b8293156e97

4.3 添加文档

curl -u elastic:elastic -XPOST http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index/blog_type -d '{"uid":100000, "name": "ruby","create_time":12121212121}'

 

{"_index":"blog_index","_type":"blog_type","_id":"AWIO9S2KAoLK5rH2_0Oy","_version":1,"result":"created","_shards":{"total":2,"successful":2,"failed":0},"created":true}

941152980abfe7590345f3bb41ce6c32a99a2f8e

4.4 连接elasticsearch

4.4.1 启动logstash并监听标准输入
logstash -e 'input { stdin { } } output { elasticsearch {

hosts => ["es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200"]

user => ["elastic"]

password => ["elastic"]

index => ["blog_index"]

} stdout { codec => rubydebug }}'
4.4.2 输入文档
{"uid":200000, "name": "ruby2","create_time":122121212121}

c9c95b543e194da007e4a07bf7cf45d448b2ca95

058a76026c3b77966e200bbb48661ae75e3e12ef

4.5 logstash监听log4j

4.5.1 使用配置文件启动logstash
vim /etc/logstash/conf.d/elk.conf

添加一下内容

input { stdin { } }

output { elasticsearch {

hosts => ["es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200"]

user => ["elastic"]

password => ["elastic"]

index => ["blog_index"]

} stdout { codec => rubydebug }

}
启动

logstash –f /etc/logstash/conf.d/elk.conf

添加文档

{"uid":300000, "name": "ruby3","create_time":122121212121}

1047e8ccf41355da4cf7d1d0e2fccb0874088f09

4.5.2 输入源配置log4j日志文件
vi /etc/logstash/conf.d/elk.conf

编辑配置添加一下配置

input {

file{

path => "/var/log/messages"

type => "system"

start_position => "beginning"

}

stdin { } }

output {

elasticsearch {

hosts => ["es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200"]

user => ["elastic"]

password => ["elastic"]

index => ["blog_index"]

}

stdout { codec => rubydebug }

}

 

启动

logstash -f /etc/logstash/conf.d/elk.conf

logstash将日志文件中内容全部采集到elasticsearch中

bd70e0086bb27168bd509de10e786c48afd217a9

5.Elasticsearch的日志检索介绍

文章上半部分已对elk的入门搭建进行了介绍,下面我们将学习如何使用es进行文档检索。

5.1 基本概念

5.1.1 Node和Cluster

Elastic 本质上是一个分布式数据库,允许多台服务器协同工作,每台服务器可以运行多个 Elastic 实例。

单个 Elastic 实例称为一个节点(node)。一组节点构成一个集群(cluster)。

5.1.2 Index

Elastic 会索引所有字段,经过处理后写入一个反向索引(Inverted Index)。查找数据的时候,直接查找该索引。

所以,Elastic 数据管理的顶层单位就叫做 Index(索引)。它是单个数据库的同义词。每个 Index (即数据库)的名字必须是小写。

下面的命令可以查看当前节点的所有 Index。

curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/_cat/indices?v

5.1.3 Document

Index 里面单条的记录称为 Document(文档)。许多条 Document 构成了一个 Index。

{

  "uid": "10000",

  "name": "ruby",

  " create_time ": "10293822737"

}

同一个 Index 里面的 Document,不要求有相同的结构(scheme),但是最好保持相同,这样有利于提高搜索效率。

5.1.4 Type

Document 可以分组,比如上面执行过程中我们分别通过命令行执行添加文档,通过logstash标准输入添加文档,监听日志文件添加文档,从kibana可以看出分别用3种type进行了分类

954b270337172cecb61a7e10dc97d171b3aea30b

不同的 Type 应该有相似的结构(schema),举例来说,id字段不能在这个组是字符串,在另一个组是数值。这是与关系型数据库的表的一个区别。性质完全不同的数据(比如products和logs)应该存成两个 Index,而不是一个 Index 里面的两个 Type(虽然可以做到)。

下面的命令可以列出每个 Index 所包含的 Type。

curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/_mapping?pretty=true | more
5.1.5 文档检索
5.1.5.1 返回所有记录
curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index/logs/_search
{

       "took": 3,

       "timed_out": false,

       "_shards": {

              "total": 5,

              "successful": 5,

              "failed": 0

       },

       "hits": {

              "total": 2,

              "max_score": 1.0,

              "hits": [{

                     "_index": "blog_index",

                     "_type": "logs",

                     "_id": "AWIO_AUMoaPK_6mTOPor",

                     "_score": 1.0,

                     "_source": {

                            "@timestamp": "2018-03-10T08:17:00.138Z",

                            "@version": "1",

                            "host": "iZbp1bc4zyc7sxa8jhwur3Z",

                            "message": "{\"uid\":200000, \"name\": \"ruby2\",\"create_time\":122121212121}"

                     }

              }, {

                     "_index": "blog_index",

                     "_type": "logs",

                     "_id": "AWIPFPLeAoLK5rH2_0VU",

                     "_score": 1.0,

                     "_source": {

                            "@timestamp": "2018-03-10T08:44:13.854Z",

                            "@version": "1",

                            "host": "iZbp1bc4zyc7sxa8jhwur3Z",

                            "message": "{\"uid\":300000, \"name\": \"ruby3\",\"create_time\":122121212121}"

                     }

              }]

       }

}

上面代码中,返回结果的 took字段表示该操作的耗时(单位为毫秒),timed_out字段表示是否超时,hits字段表示命中的记录,里面子字段的含义如下。

total:返回记录数,本例是2条。

max_score:最高的匹配程度,本例是1.0。

hits:返回的记录组成的数组。

返回的记录中,每条记录都有一个_score字段,表示匹配的程序,默认是按照这个字段降序排列。

5.1.5.2 全文搜索

查询语法:https://www.elastic.co/guide/en/elasticsearch/reference/5.5/query-dsl.html

使用条件搜索

curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index/logs/_search -d '

{

     "query" : { "match" : { "message" : "ruby3" }},

"from":1,

"size":1

}

匹配条件为

message字段里包含 ruby3,

size为返回条数,

from为开始位置,可用户分页查询

结果为:

{

       "took": 6,

       "timed_out": false,

       "_shards": {

              "total": 5,

              "successful": 5,

              "failed": 0

       },

       "hits": {

              "total": 1,

              "max_score": 6.061471,

              "hits": [{

                     "_index": "blog_index",

                     "_type": "logs",

                     "_id": "AWIPFPLeAoLK5rH2_0VU",

                     "_score": 6.061471,

                     "_source": {

                            "@timestamp": "2018-03-10T08:44:13.854Z",

                            "@version": "1",

                            "host": "iZbp1bc4zyc7sxa8jhwur3Z",

                            "message": "{\"uid\":300000, \"name\": \"ruby3\",\"create_time\":122121212121}"

                     }

              }]

       }

}
5.1.5.3 逻辑运算

或查询示例:

"query" : { "match" : { "message" : "ruby3 ruby2" }}

结果中包含ruby3 或则 ruby2

与查询示例:

"query" : {

       "bool":{

              "must":[

                     "match" : { "message" : "ruby2" }},

                    "match" : { "message" : "ruby3" }}

              ]

       }

}

6.kibana的分析功能介绍

6.1 创建索引

左边导航上选择Management->Kibana(Index Patterns),此处需要先手动命令行创建索引,然后再kibana中建立视图;

89abc45168e27d97a7285e0c793ac4168ba770c5

6.2 Discover

此功能是通过搜索查看文档数据,可通过添加过滤器或则填写表达式来进行搜索;

92b06d7e07c42469c29ade24cce472463b7df7af

6.3 Visualize

此功能是将查询出的数据进行可视化展示;

478501b3684b9b189db3de99507c5b7e5374eed8

03bc156c0d8b4f7a7bce75e038568dc6311dbbc3

6.4 Dashboard

这里主要对筛选条件进行组合并保存;

在“Dashboard” 菜单界面中,我们可以自由排列一组已保存的可视化数据。

点击左侧 “Dashboard” 菜单,再点击界面中间的 “Create a dashboard” 按钮进行创建;

1ca2eaccef3102e6ad51ee27df1973a9bdd285ed

6.5 Timelion

Timelion 是一个时间序列数据的可视化,可以结合在一个单一的可视化完全独立的数据源。它是由一个简单的表达式语言驱动的,用来检索时间序列数据,进行计算,找出复杂的问题的答案,并可视化的结果。

0cc36c0ea1f9bab0a8d829ecc3e8c6e83417b239