CLOUD 02: elk

ELK 是什么? • ELK 其实并不是一款软件,而是一整套解决方案,是 三个软件产品的首字母缩写 – Elasticsearch:负责日志检索和储存 – Logstash:负责日志的收集和分析、处理 – Kibana:负责日志的可视化 – 这三款软件都是开源软件,通常是配合使用,而且又 先后归于 Elastic.co 公司名下,故被简称为 ELK

ELK 能做什么? • ELK组件在海量日志系统的运维中,可用于解决: – 分布式日志数据集中式查询和管理 – 系统监控,包含系统硬件和应用各个组件的监控 – 故障排查 – 安全信息和事件管理 – 报表功能

Elasticsearch部分

• ElasticSearch 是一个基于 Lucene 的搜索服务器。 它提供了一个分布式多用户能力的全文搜索引擎,基 于 RESTful API 的 web 接口。 • Elasticsearch是用Java开发的,并作为Apache许可 条款下的开放源码发布,是当前流行的企业级搜索引 擎。设计用于云计算中,能够达到实时搜索,稳定, 可靠,快速,安装使用方便

主要特点 – 实时分析 – 分布式实时文件存储,并将每一个字段都编入索引 – 文档导向,所有的对象全部是文档 – 高可用性,易扩展,支持集群(Cluster)、分片和复 制(Shards 和 Replicas) – 接口友好,支持 JSON

ES 没有什么? • Elasticsearch 没有典型意义的事务. • Elasticsearch 是一种面向文档的数据库。 • Elasticsearch 没有提供授权和认证特性

相关概念: – Node: 装有一个 ES 服务器的节点。 – Cluster: 有多个Node组成的集群 – Document: 一个可被搜素的基础信息单元 – Index: 拥有相似特征的文档的集合 #库 – Type: 一个索引中可以定义一种或多种类型 #表 – Filed: 是 ES 的最小单位,相当于数据的某一列 – Shards: 索引的分片,每一个分片就是一个 Shard – Replicas: 索引的拷贝

S 与关系型数据库的对比 – 在 ES 中,文档归属于一种 类型 (type) ,而这些类型 存在于索引 (index) 中,类比传统关系型数据库 – DB -> Databases -> Tables -> Rows -> Columns – 关系型 数据库 表 行 列 – ES -> Indices -> Types -> Documents -> Fields – ES 索引 类型 文档 域(字段)

Elasticsearch部分 • 安装第一台 ES 服务器 – 设置主机名称和 ip 对应关系 – 解决依赖关系 – 安装软件包 – 修改配置文件 – 启动服务 – 检查服务

步骤 1,设置 ip 与主机名称对应关系 – 配置 /etc/hosts

192.168.4.11 node1 • 步骤 2,安装 JDK – Elasticsearch 要求至少 Java 7 – 一般推荐使用 OpenJDK 1.8 – 配置好安装源以后,我们先解决依赖关系 yum install -y java-1.8.0-openjdk

步骤 3 – 安装 ES rpm –ivh elasticsearch-2.3.4-1.noarch • 步骤 4 – 修改配置文件 – elasticsearch.yml network.host: 0.0.0.0

步骤 5 – 启动服务,设置自启动 systemctl enable elasticsearch systemctl start elasticsearch – 验证: netstat –ltunp – 能够看到 9200,9300 被监听

通过浏览器或 curl 访问 9200 端口 curl http://192.168.4.11:9200/

ES 集群配置

– ES 集群配置也很简单,只需要对配置文件做少量的修 改即可,其他步骤和单机完全一致 – ES 集群配置文件 cluster.name: my-es node.name: node1 network.host: 0.0.0.0 discovery.zen.ping.unicast.hosts: ["node1", "node2", "node3"]

ES 集群配置

– 集群中的所有节点要相互能够 ping 通,要在所有集群 机器上配置 /etc/hosts 中的主机名与 ip 对应关系 – 集群中所有机器都要安装 java 环境 – cluster.name 集群名称配置要求完全一致 – node.name 为当前节点标识,应配置本机的主机名 – discovery 为集群节点机器,不需要全部配置 – 配置完成以后启动所有节点服务(有可能会有一定的 延时,需要等待几十秒)

ES 集群配置 – 验证集群,使用 ES 内置字段 _cluster/health

curl http://192.168.4.11:9200/_cluster/health?pretty { "cluster_name" : "my-es", "status" : "green", ...... ...... ...... "number_of_nodes" : 5, "number_of_data_nodes" : 5, ...... ...... ...... "task_max_waiting_in_queue_millis" : 0, "active_shards_percent_as_number" : 100.0 }

ES 集群验证 – 返回字段解析

– status“ : ”green“ 集群状态,绿色为正常,×××表 示有问题但不是很严重,红色表示严重故障 – “number_of_nodes” : 5, 表示集群中节点的数量 – "number_of_data_nodes" : 5, – ...... ...... ...... – "task_max_waiting_in_queue_millis" : 0, – "active_shards_percent_as_number" : 100.0 – }

ES 常用插件 • head 插件:

– 它展现ES集群的拓扑结构,并且可以通过它来进行索 引(Index)和节点(Node)级别的操作 – 它提供一组针对集群的查询API,并将结果以json和表 格形式返回 – 它提供一些快捷菜单,用以展现集群的各种状态

ES 常用插件 • kopf 插件 – 是一个ElasticSearch的管理工具 – 它提供了对ES集群操作的API • bigdesk 插件 – 是elasticsearch的一个集群监控工具 – 可以通过它来查看es集群的各种状态,如:cpu、内存 使用情况,索引数据、搜索情况,http连接数等

ES 插件安装、查看 – 查看安装的插件 /usr/share/elasticsearch/bin/plugin list – 安装插件 /usr/share/elasticsearch/bin/plugin install ftp://192.168.4.254/head.zip /usr/share/elasticsearch/bin/plugin install file:///tmp/kopf.zip – 这里必须使用 url 的方式进行安装,如果文件在本地, 我们也需要使用 file:// 的方式指定路径,例如文件在 /tmp/xxx 下面,我们要写成 file:///tmp/xxx 删除使 用 remove 指令

访问地址 http://192.168.4.1:9200/_plugin/head/ http://192.168.4.1:9200/_plugin/kopf/#!/cluster http://192.168.4.1:9200/_plugin/bigdesk/#nodes

---

HTTP 与 RESTful API

curl 参数

-A 修改请求agent ，告诉浏览器版本等 -X 设置请求方法 -i 显示返回头信息

ES RESTful API 部分 • Elasticsearch提供了一系列RESTful的API – 检查集群、节点、索引的健康度、状态和统计 – 管理集群、节点、索引的数据及元数据 – 对索引进行CRUD操作及查询操作 – 执行其他高级操作如分页、排序、过滤等 • POST 或 PUT 数据使用 json 格式

• json

– JSON的全称是”JavaScript Object Notation”,意 思是JavaScript对象表示法,它是一种基于文本,独立 于语言的轻量级数据交换格式。 – json 传输的就是一个字符串 – python 中对应的 字符串,列表,字典都可以转换成 对应的 json 格式

• Rest API 的简单使用 – _cat API 查询集群状态,节点信息

– v 参数显示详细信息 http://192.168.4.15:9200/_cat/health?v – help 显示帮助信息 http://192.168.4.15:9200/_cat/health?help

• Rest API 的简单使用 – nodes 查询节点状态信息 http://192.168.4.15:9200/_cat/nodes?v – 索引信息 http://192.168.4.15:9200/_cat/indices?v

• HTTP Methods 和 RESTful API 设计

– HTTP Methods 也叫 HTTP Verbs, 它们是 HTTP 协议 的一部分, 主要规定了 HTTP 如何请求和操作服务器上 的资源,常见的有GET, POST等 – HTTP Methods 一共有九个,分别是 GET,HEAD, POST,PUT,DELETE,TRACE,OPTIONS, CONNECT,PATCH

• HTTP Methods

– 在RESTful API 设计中,常用的有POST,GET,PUT, PATCH 和 DELETE。分别对应对资源的创建,获取, 修改,部分修改和删除操作。 – 我们默认访问 ES API 的方法是 GET,如果要对数据库 增加、删除、修改数据我们还要使用对应的方法 – GET 查询 – POST 增加 – PUT 更改 – DELETE 删除

• RESTful API 增加 – 创建一个 school 的 (Index) 和一个 students (Type) – 并增加一条信息 创建索引 curl -XPUT 'http://192.168.4.11:9200/school/aa/1' -d ' { "settings":{ "index":{ "number_of_shards":5, "number+of_replicas":1 } } }'

增加 curl -XPUT 'http://192.168.4.11:9200/索引名称/类型名称/id' -d 'JSON'

增加JSON串 curl -XPUT 'http://192.168.4.11:9200/school/students/1' -d '{ "nsd1710": "devops", "js":{ "bn": "dd", "last": "wu" }, "age": 25 }'

• RESTful API 更改

– 修改 school 下面 students 的第一个文档中的 age 信 息,从 25 修改为 30 curl -XPOST 'http://192.168.4.11:9200/school/students/1/_update' -d '{ "doc":{ "age": 30 } }'

• RESTful API 查询 – 查询刚刚创建的文档信息 curl –XGET 'http://192.168.4.11:9200/school/students/1‘ – 只查询 name 和 age curl -XGET 'http://192.168.4.11:9200/school/students/1?_source=nam e,age'

• RESTful API 删除 – 删除刚才创建的文档

curl -XDELETE 'http://192.168.4.14:9200/school/students/1' – 删除 school curl -XDELETE 'http://192.168.4.14:9200/school'

---

kibana 安装

• kibana是什么 – 数据可视化平台工具 • 特点: – 灵活的分析和可视化平台 – 实时总结和流数据的图表 – 为不同的用户显示直观的界面 – 即时分享和嵌入的仪表板

• kibana安装 – kibana 的安装非常简单,我们使用 rpm 方式安装 rpm –ivh kibana-4.5.2-1.x86_64.rpm – kibana 默认安装在 /opt/kibana 下面,配置文件在 /opt/kibana/config/kibana.yml – 我们只需要修改少量的配置就可以启动

• kibana.yml 的配置 – server.port: 5601 – server.host: "0.0.0.0" – elasticsearch.url: "http://192.168.4.13:9200" – kibana.index: ".kibana" – kibana.defaultAppId: "discover" – elasticsearch.pingTimeout: 1500 – elasticsearch.requestTimeout: 30000 – elasticsearch.startupTimeout: 5000

• kibana.yml 的配置 – 除 elasticsearch.url 需要配置为我们 ES 集群的地址之 外,其他保持默认值就可以了 – 设置开机启动 systemctl enable kibana – 启动服务 systemctl start kibana – web 访问 kibana http://192.168.4.20:5601/

数据批量导入 • 使用 _bulk 批量导入数据

– 批量导入数据使用 POST 方式,数据格式为 json,url 编码使用 data-binary – 导入含有 index 配置的 json 文件 gzip –d logs.jsonl.gz curl -XPOST 'http://192.168.4.14:9200/_bulk' --data-binary @logs.jsonl gzip –d shakespeare.json.gz curl -XPOST 'http://192.168.4.14:9200/_bulk' --data-binary @shakespeare.json

使用 _bulk 批量导入数据 – 导入没有有 index 配置的 json 文件

– 我们需要在 uri 里面制定 index 和 type gzip –d accounts.json.gz curl -XPOST 'http://192.168.4.14:9200/accounts/act/_bulk?pretty' -- data-binary @accounts.json

数据批量查询 • 数据批量查询使用 GET

curl -XGET 'http://192.168.4.11:9200/_mget?pretty' -d '{ "docs":[ { "_index": "accounts", "_type:": "act", "_id": 1 }, { "_index": "accounts", "_type:": "act", "_id": 2 },

{ "_index": "shakespeare", "_type:": "scene", "_id": 1 } ] }'

map 映射 • mapping:

– 映射:创建索引的时候,可以预先定义字段的类型及 相关属性。 – 作用:这样会让索引建立得更加的细致和完善。 – 分类:静态映射和动态映射。 – 动态映射:自动根据数据进行相应的映射。 – 静态映射:自定义字段映射数据类型。

kibana 里选择日志 – 支持通配符 *

– 我们这里选择 logstash-* – 在下面的 Time-field 选择 @timestramp 作为索引 – 然后点 create 按钮

---

logstash 部分

文档地址 https://github.com/logstash-plugins

logstash 是什么 – logstash是一个数据采集、加工处理以及传输的工具 • logstash 特点: – 所有类型的数据集中处理 – 不同模式和格式数据的正常化 – 自定义日志格式的迅速扩展 – 为自定义数据源轻松添加插件

• logstash 安装

– Logstash 依赖 java 环境,需要安装 java-1.8.0- openjdk – Logstash 没有默认的配置文件,需要手动配置 – logstash 安装在 /opt/logstash 目录下 rpm -ivh logstash-2.3.4-1.noarch.rpm

• logstash 工作结构 课 堂 练 习 – { 数据源 } ==> – input { } ==> – filter { } ==> – output { } ==> – { ES }

logstash 里面的类型 – 布尔值类型: ssl_enable => true

– 字节类型: bytes => "1MiB" – 字符串类型: name => "xkops" – 数值类型: port => 22 – 数组: match => ["datetime","UNIX"] – 哈希: options => {k => "v",k2 => "v2"} – 编码解码: codec => "json" – 路径: file_path => "/tmp/filename" – 注释: #

logstash 条件判断 – 等于: == – 不等于: != – 小于: < – 大于: > – 小于等于: <= – 大于等于: >= – 匹配正则: =~ – 不匹配正则: !~ – 包含: in – 不包含: not in – 与: and – 或: or – 非与: nand – 非或: xor – 复合表达式: () – 取反符合: !()

logstash 的第一个配置文件 – /etc/logstash/logstash.conf

input{ stdin{} } filter{ } output{ stdout{} } • 启动并验证 – logstash –f logstash.conf

• logstash 插件

– 上页的配置文件使用了 logstash-input-stdin 和 logstash-output-stdout 两个插件,logstash 还有 filter 和 codec 类插件,查看插件的方式是 /opt/logstash/bin/logstash-plugin list

• codec类插件

– 常用的插件:plain、json、json_lines、rubydebug、 multiline等 – 我们还使用刚刚的例子,不过这次我们输入 json 数据 – 我们设置输入源的 codec 是 json,在输入的时候选择 rubydebug

• codec 类插件 input{ stdin{ codec => "json" } } filter{ } output{ stdout{ codec => "rubydebug" } } – 我们输入普通数据和 json 对比 – {"a": 1, "c": 3, "b": 2}

• codec 类插件 – 练习 output 和 input 配置 – 练习 在 input 不指定类型 json 输出结果 – 练习 在 output 不指定 rubydebug 的输出结果 – 同时指定以后的输出结果

• input file 插件

file{ start_position => "beginning" #新文件读取从头开始，end为尾开始 sincedb_path => "/var/lib/logstash/sincedb-access" #记录上次读取位置的文件 path => [“/tmp/alog”, “/tmp/blog”] #读取文件的路径 type => 'filelog' #日志文件类型 } – sincedb_path 记录读取文件的位置 – start_position 配置第一次读取文件从什么地方开始

• input tcp 和 udp 插件

tcp{ host => "0.0.0.0" port => 8888 type => "tcplog" } udp{ host => "192.168.4.16" port => 9999 type => "udplog" }

• tcp & udp – 使用 shell 脚本,对 tcp 指定端口发送数据

function sendmsg(){ if (( $# == 4 )) && [ $1 == "tcp" -o $1 == "udp" ];then exec 9<>/dev/$1/$2/$3 echo "$4" >&9 exec 9<&- else echo "$0 (tcp|udp) ipaddr port msg" fi }

tcp & udp 练习

– 发送 tcp 数据 – sendmsg tcp 192.168.4.10 8888 ‘tcp msg’ – 发送 udp 数据 – sendmsg udp 192.168.4.10 9999 ‘udp msg’

• syslog 插件练习

syslog{ host => "192.168.4.10" port => 514 type => "syslog" } – /etc/rsyslog.conf 配置向远程发送数据 74 local0.info @@192.168.4.10:514 # 2个@@是tcp发送 75 authpriv.info @192.168.4.10:514 #1个@是UPD发送

systemctl restart rsyslog.service – 写 syslog ,查看状态 logger -p local0.info -t test_logstash 'test message' #local0系统等级向日志文件写入信息

• filter grok插件 – 解析各种非结构化的日志数据插件

– grok 使用正则表达式把非结构化的数据结构化 – 在分组匹配,正则表达式需要根据具体数据结构编写 – 虽然编写困难,但适用性极广 – 几乎可以应用于各类数据 (?<组名>正则表达式) grok{ match => [“message”,“%{IP:ip}, (?<key>reg)” }

grok 正则分组匹配 – 匹配 ip 时间戳 和 请求方法

"(?<ip>(\d+.){3}\d+) \S+ \S+ (?<time>.*])\s+"(?<method>[A-Z]+)"] – 使用正则宏 %{IPORHOST:clientip} %{HTTPDUSER:ident} %{USER:auth} [%{HTTPDATE:timestamp}] "%{WORD:verb} – 最终版本 %{COMMONAPACHELOG} "(?<referer>[^"]+)" "(?<UA>[^"]+)"

正则宏路径： /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns/

input redis 插件

redis{ host => 'redis-server' port => '6379' data_type => 'list' key => 'lb' codec => 'json' } – 生产环境往往理由 redis 来做缓冲,这里给出配置

• output ES 插件

if [type] == "weblog"{ elasticsearch { hosts => ["192.168.4.15:9200"] index => "weblog" flush_size => 2000 #2000时写入 idle_flush_time => 10 #空闲10秒写入 }}

– 调试成功后,把数据写入 ES 集群 • input filebeats 插件

beats { port => 5044 codec => "json" } – 这个插件主要用来接收 beats 类软件发送过来的数据, 由于 logstash 依赖 java 环境,而且占用资源非常大, 我们往往不希望所有集群的机器都部署 java 环境安装 logstash,而使用更轻量的 filebeat 替代

• filebeat 安装与配置 – 使用 rpm 安装 filebeat

rpm -ivh filebeat-1.2.3-x86_64.rpm – 修改配置文件 /etc/filebeat/filebeat.yml – 设置开机运行 systemctl enable filebeat – 开启服务 systemctl start filebeat

• 修改配置文件 /etc/filebeat/filebeat.yml 数据指针文件 /var/lib/filebeat/registry

paths: 15 - /root/logs.jsonl 72 document_type: weblog 183,188 注释 output: 278 logstash: 280 hosts: ["192.168.4.10:5044"]