es正显是什么意思 es正显和qs

 

架构是数据被logstash打到kafka,然后消费端从kafka通过hangout消费。最后到es来索引。

原理网上比较多，就不细说，现在主要来讲实战。

 

一、ES集群部署优化之道

 

部署准备:

1.修改文件limit

#!/bin/bashmax=2500000#check permission
 uid=$(id -u)
 if [[ -z $uid ]];then
 echo "please use root to run this"
 exit 201
 fi
 if [[ $uid -ne 0 ]];then
 echo "please use root to run this"
 exit 201
 fi#check value
 #linux default: 1024 * 1024 = 1048576
 if [[ $max -lt 1048576 ]];then
 echo "max value must >= 1048576"
 exit 202
 fi#set temporary
 sysctl -w fs.nr_open=$max
 if [[ $? -ne 0 ]];then
 echo "sysctl set failed"
 exit 1
 fi#set forever
 grep -P "^\s*fs.nr_open" /etc/sysctl.conf &>/dev/null
 if [[ $? -eq 0 ]];then
 #update
 sed -i "s/^\s*fs.nr_open.*/fs.nr_open = $max /g" /etc/sysctl.conf
 if [[ $? -ne 0 ]];then
 echo "update value failed"
 exit 2
 fi
 else
 #add 
 echo "fs.nr_open = $max" >> /etc/sysctl.conf
 if [[ $? -ne 0 ]];then
 echo "add value failed"
 exit 3
 fi
 fi
 sed -i "s/.*-.*nofile.*/\* - nofile $max/g" /etc/security/limits.conf

2.修改内存lock

# allow user 'kafka' mlockall
 kafka soft memlock unlimited
 kafka hard memlock unlimited

添加到/etc/security/limits.conf

3.然后将es在其中的部署目录打包。

tar cf elast.tar /data/apps/elasticsearch-2.2.0

4.将包传到任意需要部署机器。

然后解压缩

tar xf elast.tar

5.修改配置文件

/data/apps/elasticsearch-2.2.0/config/elasticsearch.yml

cluster.name: 修改为同一集群代号

node.name: 修改为本机hostname

path.data: 修改为本机数据目录，用逗号分隔

bootstrap.mlockall: true 优化es内存设置，起来lock住内存

network.host: 修改为本机ip

discovery.zen.ping.unicast.hosts:修改为集群所有的ip列表，利于发现其他节点

以下为优化内存，防止gc和加速recovery的设置，默认加入即可。

indices.recovery.concurrent_streams: 24
 indices.recovery.concurrent_small_file_streams: 12
 indices.recovery.max_bytes_per_sec: 200mbindices.fielddata.cache.size: 20%
 indices.breaker.fielddata.limit: 20%
 indices.breaker.request.limit: 20%
 indices.breaker.total.limit: 40%

6.启动es，采用如下方式，注意内存不要超过32G。

export JAVA_HOME=/data/apps/jdk1.8.0_65 export ES_HEAP_SIZE=28g cd /data/apps/elasticsearch-2.1.1/bin && ./elasticsearch -d --Xmx 28g --Xms 28g

 

二、KAFKA部署信息，与相关TOPIC创建

采用直接解压部署到

/data/app/kafka_2.10-0.9.0.1/

文件配置采用默认kafka配置。

/data/app/kafka_2.10-0.9.0.1/config/server.properties

这里需要修改下brok.id

broker.id= 每台kafka都有一个唯一id

启动方式是:

sudo -u kafka nohup bin/kafka-server-start.sh config/server.properties &

三、logstash部署方式介绍

由于每台日志机器需要采集日志到kafka队列。

所以采取每台日志机部署logstash方式。现在kss/ks3机器上都已经部署logstash.

部署logstash需要将该目录打包，然后传送到任一采集机，然后解压，修改如下启动脚本后启动即可。

bin/logstash -e 'input{file{ type=>".23.8" path=>"/data/logs/nginx/access.log"}}output{kafka{ bootstrap_servers => "xxx.68:10002" topic_id => "xxxslog" }}'#type为标志本机ip#path为日志路径#output是kafka的地址列表，上表是武清机房的kafka地址#topic_id是对应的topic

修改完毕的命令行可以直接以后台方式运行。这样就启动了日志采集进程。

 

四、日志消费程序部署与使用介绍

日志消费程序采用ctrip开源的hangout，具体git地址看这里。

https://github.com/childe/hangout

用ks3的具体配置为例:

inputs: #input为kafka
 - Kafka:
 codec: json #json格式
 topic: 
 kxxx3log: 2########################################################从Kafka读数据. 下面示例是说, 开2个线程取app这个topic的数据, 编码格式为plain纯文本. consumer_settings中的参数, 参考[kafka]官方文档](http://kafka.apache.org/documentation.html#consumerconfigs), 所有参数都可以在这里配置. 比较重要的是group.id, zookeeper.connect这两个, 一定要有. zookeeper.connect的格式为 hostname1:port1,hostname2:port2,hostname3:port3. ########################################################
 consumer_settings:
group.id: hangout
 zookeeper.connect: 11.4.22.15:2181
auto.commit.interval.ms: "5000"
 socket.receive.buffer.bytes: "1048576"
 fetch.message.max.bytes: "1048576"
 num.consumer.fetchers: "4"
 filters:
 - Grok:
 src: message
 match:
 - '^\"(?<upstream_http_x_kss_Bucketowner>.+)\" \"(?<upstream_http_x_kss_Bucketname>.+)\" \"\[(?<time_local>.+)\]\" \"(?<remote_addr>\d{1,3}.\d{1,3}.\d{1,3}.\d{1,3})\" \"(?<upstrea
 m_http_x_kss_Requester>.+)\" \"(?<upstream_http_x_kss_request_id>.+)\" \"(?<upstream_http_x_kss_Op>.+)\" \"(?<upstream_http_x_kss_Key>.+)\" \"(?<request>.+)\" \"(?<status>.+)\" \"(?<upstrea
 m_http_x_kss_ErrCode>.+)\" \"(?<content_length>.+)\" \"(?<body_bytes_sent>.+)\" \"(?<upstream_http_x_kss_ObjSize>.+)\" \"(?<request_time>.+)\" \"(?<upstream_response_time>.+)\" \"(?<http_re
 ferer>.+)\" \"(?<http_user_agent>.+)\" \"(?<upstream_addr>.+)\" \"(?<http_kscdn>.+)\"$'
 remove_fields: ['path']
 - Json:
 field: message # required
 - Gsub:
 fields: #由于以下字段会有-，所以要替换为0,免得出错
 upstream_http_x_kss_ObjSize: ['-','0']
 body_bytes_sent: ['-','0']
 content_length: ['-','0']
 upstream_response_time: ['-','0.00']
 request_time: ['-','0.00']
 outputs: #向es输出
 - Elasticsearch:
 cluster: xxx-ecs #es的集群名
 hosts: #杭州es host
 - 10.4.69.70:9300
 - 10.4.71.100:9300
 - 10.4.71.103:9300
 - 10.4.71.102:9300
 index: 'hangout-ks3-%{+YYYYMMdd}' #日志格式
 index_type: logs # default logs
 bulk_actions: 20000 #default 20000
 bulk_size: 30 # default 15 MB
 flush_interval: 10 # default 10 seconds
 concurrent_requests: 0 # default 0, concurrent_requests设置成大于0的数, 意思着多线程处理, 以我应用的经验,还有是一定OOM风险的,强烈建议设置为0
 timezone: "Asia/Shanghai" # defaut UTC 时区. 只用于生成索引名字的字符串格式化