183530300的博客_JavaScript,python,Mysql,服务器&存储,云平台,redis,KVM,自动化运维,Linux基础,linux系统管理,Shell脚本编程

ELK-基于用户访问IP做用户热力地图展示

想必很多时候我们都想直观的看出访问我们网站的用户是主要来自哪些地区的，kibana的作者在开发的时候也没少给大家福利，已经内置了基于访问IP做用户热力地图展示的功能。所以也算是kibana给广大用户提供的一大福利，今天笔者就来带大家一起做一个直观的热力地图出来。

logstash

热力图

配置

原创点赞2 阅读4920 收藏1 评论0 2018-10-28

修改elasticsearch映射模板——替换默认的logstash映射模板为nginx开头的模板

相信很多探索ELK的朋友和我一样，总是想把nginx访问日志的索引名称修改为自己想要的名称模式，例如：nginx-access-YY.MM.DD，不相信使用默认的必须以logstash-开头的，但是就这一个更改却可能带来很多的问题，比较常见的是自定义的映射模板导入失败，参数不生效，geoip的定位信息无法在kibana中调用，笔者也是吃尽了苦头，查阅了很多的技术博客，理解了模板映射的原理后，反复尝试才成功使用上了自定义的模板映射文件。不知道很多前辈是踩过坑都不说还是之前的版本有新版有区别，反正没有看到对此问题说的特别清晰的文章，所以笔者吃尽苦头之后，还是把自己的心路历程写出来，希望对后人有所帮助。

修改elasticsearch映射模板

替换默认的logstash映射模板

自定义logstash映射模板

自定义nginx映射模板

修改nginx索引名称

原创点赞2 阅读10000+ 收藏1 评论12 2018-10-25

Windows10搭建标准的WAMP开发环境-httpd2.4+php7.2+mariadb10.3

这些年来，也一直都在运维Linux环境，突然有朋友自学PHP开发，说要在自己的windows笔记本上搭建一套PHP的开发环境，之前的开发环境也都是开发人员自己搞定的，所以也没去研究过。应邀接单后竟然发现自己都不会玩windows的在WAMP环境，说来可悲啊！技术无国界，技术无高低。所以苦水往肚子里面咽。一翻的google后，在自己高性能的笔记本上使用vmware开始安装了个全新的windows10系统，然后直接上官网下载了AMP所需的各个部件，一路的尝试，WAMP架构终于成功了，但有一个感觉是windows环境比Linux环境更难玩啊！为了能够让大家看的更清晰的过程，又重头到尾来了一次，所以有了下文。

windows

WAMP

环境搭建

原创点赞0 阅读6368 收藏1 评论2 2018-10-24

logstash-使用日志的生成时间戳替换日志收集时间戳@timestamp

默认情况下ELK收集到的日志在kibana上展示出来的时间戳和日志的生成时间是不一致的，或许很多朋友来说和日志生成的时间相差无几，那我只能说，你的日志系统可能资源比较充足，处理的比较及时，所以你看到的日志收集时间戳和日志产生时间戳是相差无几的效果，但如果是想导入历史日志数据进行相应的分析，这个时候恐怕你的日志系统处理速度再块也无法解决日志收集时间和日志生成时间相差太远的问题。如果不进行处理，你在kibana上所看到的时间序列根本不是日志生成的时间戳，所以说如何使用日志的生成时间戳去替换掉存储在Elasticsearch中的时间戳也即@timestamp字段就显得尤为重要了。场景搞明白了，重要的就是如何实现了！

logstash

时间戳

替换

原创点赞0 阅读10000+ 收藏0 评论0 2018-10-21

logstash-grok解析nginx+php日志

ELK的基础架构搭建相对来说还是比较容易的，架构搭建完成后一个重要任务就是如何把生产中的服务器日志给解析好后存进Elasticsearch了，这个过程中间最关键的一步就是如何使用filter插件格式化日志数据的问题。笔者在此过程中也是被grok的正规表达式磨到想哭的地步，所以大家也不要遇到一点困难就选择放弃了！

grok

解析

nginx

原创点赞1 阅读5649 收藏1 评论1 2018-10-18

iptables常用语法+iptables规则写法

企业中用硬件防火墙的场景是大多数，但有时候也还是会用到iptables，所以做为运维工程师，使用iptables的做主机防火墙和网络防火墙的规则写法还是需要掌握的，废话不多说，直接来干货。

主机

防火墙

ping

原创点赞0 阅读4945 收藏0 评论0 2018-10-16

ELK最流行架构的搭建filebeat+kafka+zookeeper+ELK

本文给大家分享一下，如何搭建一个最为流行的ELK架构，上一篇博文中已经给大家分享过ELK架构的演变之路，也给出了当下最为流行的ELK日志架构，那就是filebeat+kafka（zookeeper）+logstash+elasticsearch+kibana。

filebeat

kafka

ELK

原创点赞1 阅读4924 收藏0 评论0 2018-10-16

ELK架构的演变

ELK的名称是由最原始架构的三个组件的首字母组合而来，即E（lasticsearch）L（ogstash）K（ibana），当然ELK演变至今天已经不再只用三个组件了。最原初的三个组件都是基于java语言研发的，相对来说比较重量级，正常运行所需服务器配置要求较高。想在生产中使用ELK做日志分析的朋友需要做好资源准备。要想上手ELK，必须对ELK的架构及运行原理做透彻的理解，废话不多说，先来看ELK架构的演变之路。

ELK

架构

演变

原创点赞0 阅读1359 收藏0 评论0 2018-10-15

防火墙+多层反向代理的环境中核心web服务器获取用户真实访问IP

在企业实际运用中，真实业务服务器往往都不是直接对外提供服务的，前面大多都会添加反代服务器以及防火墙，但这样以来核心的业务服务器如何获取到用户的真实IP往往是运维考虑的一个核心问题，今天我给大家分享一下企业真实企业真实环境下核心web服务器如何获取用户的真实IP。由于线上大多使用硬件防火墙，我们这里使用CentOS自带的iptables来进行模拟，也方便大家阅读本文进行实践。

x_forwarded

for

DNAt

原创点赞0 阅读3878 收藏0 评论0 2018-10-11

Windows下使用TortoiseGit的无法直接使用linux ssh-key的解决方案

写此文章的重要原因是很多人在windows下使用TortoiseGit时觉得无法直接和Linux系统共用一个密钥对究其原因是TortoiseGit默认使用PuTTY格式的ssh-key，和linux系统的ssh-key格式不一样，如果要想使用就必须使用key格式转换工具进行相应的转换才可以使用，那么有没有其它更为便捷的方式了，当然是的有那就是直接更改TortoiseGit调用的ssh客户端，让其直接使用和linux系统一致的ssh客户端，也即 git-for-windows所提供的ssh客户端,具体操作如下

ssh

keygen

静默

原创点赞0 阅读3171 收藏0 评论0 2018-08-06

supervisor安装及配置——管理守护进程的福利

CentOS7以上直接使用yum安装即可正常使用小配文件配置supervisor程序并可以多进程方式启动自己的进守护进程但CentOS6系统使用yum安装的supervisor不支持使用小配置文件和多进程所以要想在CentOS6系统上的正常使用supervisor管理自己的守护进程就需要使用python安装器进行安装，具体步骤参考如下

supervisor

安装

配置

linux

原创点赞1 阅读2326 收藏0 评论0 2018-08-03

民间最全的Linux系统内核参数调优说明

相信做运维的同仁，进行运维环境初建时，必须要考虑到操作系统内核参数的优化问题，本人经历数次的运维环境重建后，决定要自行收集一份比较完善的系统内核参数优化说明文件出来，于是就有了下文，本文当前值是官方默认参数，建议参数直接添加于sysctl -a输出的结果每一行的后面，希望对运维的同仁做系统内核参数调优时有所帮助。废话不多讲，直接上干货！

linux内核参数调优

linux系统调优

linux常用内核参数调优

linux内核参数说明

linux内核调优

原创点赞3 阅读10000+ 收藏7 评论4 2018-07-30

zabbix监控——zabbix邮件报警配置

前面带着大家从搭建zabbix服务器开始一直到触发器设计完毕，这一系统本身已经可以运作起来了，只是需要有一个便捷的渠道及时告诉我们运维人员去处理一些存在问题，这里就需要我们去配置一下zabbix所提供的报警机制，zabbix的报警支持报警升级机制，这对我们运维人员来说是非常有用的，我们在让zabbix通知我们相关人员的时候就可以做一个简单的规划了，比如说前5次报警直接通知运维工程师，如果5次报警后报警问题没有得到修复，第6次报警就直接通知运维主管；或者我们可以让zabbix第一步执行对应脚本进行一次软修复，如果问题依旧时再次通知运维人员，以实现在出现问题后的第一时间能够恢复为主的思想。

zabbix

邮件报警

配置

原创点赞3 阅读10000+ 收藏0 评论0 2018-03-20

Zabbix监控——zabbix触发器添加及设计

有了好的监控项，也还得有好的触发器，才能有效触发zabbix报警动作，杂乱无章的触发器只会增添zabbix报警系统的负担，同时也给运维人员带来的大量的垃圾信息，所以一个好的监控系统中，触发器的设计也是需要动脑子的。当然今天在这里也只不过抛砖引玉，给大家简单示范一下。

zabbix

触发器

设计

原创点赞4 阅读9601 收藏0 评论4 2018-03-16

Zabbix监控——Zabbix自定义用户参数制作监控项

很多情况下，我们使用zabbix内建的监控项不足以监控企业的具体业务，这时就需要使用zabbix提供的自定义参数扩展接口，自己根据业务监控需求，开发相应的脚本作为数据获取途径，自定义参数又存在两种方式，一种是直接把脚本内容写在自定义参数配置文件里面，另一种是写成独立的脚本文件，自定义参数配置文件里面直接调用脚本。

zabbix

自定义

参数

原创点赞3 阅读10000+ 收藏0 评论2 2018-03-16

Zabbix监控——Zabbix创建模板（templates）及监控项（item）

生产环境中，有一个简单的原则，那就是无监控不上线，监控系统开源方案中，zabbix也算不错的选择。由于其系统接口的开放性，使用zabbix监控公司自己的业务时都需要创建自己的模板及监控项，今天就先给大家展示一下如何创建监控项。

Zabbix

创建模板

Zabbix

原创点赞3 阅读10000+ 收藏1 评论2 2018-03-16

zabbix监控——ZABBIX服务器配置过程

生产中的服务器几乎是无监控不上线，开源实现方案中，zabbix属于后起之秀，的确接合zabbix提供的自定义接口能够比较方便的实现高灵活性的监控自己的业务细节，今天就给大家分享一下zabbix监控的搭建过程。

zabbix

监控

zabbix

原创点赞2 阅读3682 收藏0 评论2 2018-03-12

postfix+dovecot+extmail打造开源邮件系统

postfix+dovecot+courier-authlib+mariadb+extmail打造开源邮件系统企业中处于邮件账户的数量众多，使用商业版本的邮件系统价格高昂，再加上使用商业版本的邮件系统，邮件内容保护也会带一定的麻烦，所以还是有不少企业选择了开源邮件系统，毕竟自己的邮件数据存储在自己的服务器上还是比较放心的，那么就给大家分享一下如何使用阿里云的ECS搭建自己的纯开源方案的邮件系统。

开源

邮件系统

postfix

原创点赞1 阅读8232 收藏2 评论4 2018-01-30

xshell使用技巧（工欲善其事，必先利其器）

做linux运维的朋友肯定需要用远程连接工具，但使用远程连接工具的过程难免会遇到一些令人费解的问题，比如很多朋友一直在苦恼的使用xshell时中文字符显示乱码、中文字符显示横向、vim使用不了专业数字键盘等诸多问题。工欲善其事，必先利其器，今天就在这里给运维小白中科普一点点。

xshell

中文字符

显示乱码

原创点赞1 阅读1652 收藏0 评论0 2018-01-24

bash shell数值比较(-eq)与字符比较(==)的区别

运维中经常编写脚本时，如果遇到使用变量间歇取值并和整数进行比较时，大多数人第一时间会想到使用"-eq"进行比较，但事实中如果因特殊原因导致变量取值为空（null）时，bash shell会把null转换为0进行"-eq"比较，如果遇到此种困惑，可以把整数比较方法改为使用字符串比较(==)，这样就可以很好的解决整数比较带来的这种bug。为什么会有此文章，正是因为笔者在线上使用脚本运维的过程中，因此bug出现过两次失手，也给公司带来了带来了一些损失，经过仔细分析程序日志和脚本运行逻辑，加上如下测试过程，才真正找到了bug的所在以及解决办法。以下是笔者推敲思路，供大家分析之用。

数值比较

字符比较

bash

原创点赞1 阅读10000+ 收藏0 评论2 2018-01-21

Tomcat集群session复制,httpd/nginx反代Tomcat集群

一个大型站点都会涉及到动态应用，动态应用都需要做会话保持，常见的会话保持方式就三种，一是session stick，二是session replication，三是session share，对于小型规模的tomcat集群，大多者会采用session replication方式，但阅读官方文档也好，查询大牛博客也罢，发现均有不准确之处，所以亲测成功实现之后得出如下文档，还望高人指点。

tomcat

session

集群

原创点赞0 阅读1122 收藏2 评论0 2017-09-27

linux文本三剑客匹配网卡IP地址大PK(CentOS 7系统)

运维工程师在做配置的过程中很多时候都需要去获取目标服务器网卡上的IP地址，那究竟用什么方式获取更便捷了，博主今天就带大家使用linux文本三剑客分别获取一下网卡的IP地址，最后我们再来对比一下。

linux

文本

grep

原创点赞0 阅读2164 收藏1 评论0 2017-08-27

openstack安装配置—— dnshboard安装配置

做为专业运维人员，使用命令行工具去管理云主机是没有问题的，但如果云要提供给客户使用，就不可能让用户命令行工具去管理自己的云主机了，此时，就需要一个简单易用的管理页面提供给用户了，openstack官方也很体贴的为我们已经准备好了，只是程序代码方面还存在着一些小问题，不过我已经帮大家趟过一连坑了，按照如下的配置流程是可以让大家体验到使用鼠标管理云主机的效果的。

安装配置

openstack

dnshboard

原创点赞0 阅读1796 收藏2 评论0 2017-08-20

openstack安装配置—— orchestration安装配置

如果一次需要启动10个实例，手动一个一个的去套模版启动，相信也行太low了吧，openstack官方也为运维人员准备了强大的利器，那就是任务编排orchestration服务模块了，当然如果要想用好这一工具来帮我解决低级趣味的任务编排，还需要我们专业去学习一下heat模版语法了，在这里我只是带大家简单实现一下通过任务编排模版自动创建并启动一个实例，具体语法规则不这里不详细陈述。

服务

openstack

orchestration

原创点赞1 阅读1281 收藏0 评论0 2017-08-20

openstack安装配置—— file share node 配置

实际生产中，很多时候需要数据源的共享来实现多节点的实时数据保持一致，openstack官方提供了manila服务模块实现了云盘共享，manila服务也是需要manila服务端和存储节点共同组成的，本实验中为了节约虚机节点，就把manila服务端安装在了controller节点上，manila数据存储节点和cinder存储节点合并使用一个虚机节点，各自使用了一块独立硬盘。

配置

服务端

manila

原创点赞0 阅读997 收藏1 评论0 2017-08-20

openstack安装配置—— 实例启动（双网络模型）

启动实例前至少需要配置好nova和neutron服务，当然实际中cinder服务也是必须的，否则一台虚拟是可以启动，但没有数据卷也是不合常理的。启动实例之前需要事先创建好网络模型，私有网络模型是包含公有网络模型的，所以我们前面配置netron服务时直接选择了私有网络模型，当然此时我们要想启动实例，公有网络模型和私有网络模型我们都可以选择，本实验中我们会先带大家在公有网络模型下启动一个实例，私有网络模型下启动实例要比公有网络下复杂一些。

openstack实例启动

openstack公有网络上创建并启动实

openstack私有网络上创建并启动实

原创点赞0 阅读1183 收藏1 评论0 2017-08-20

openstack安装配置—— block node配置

对于云主机来说，机器可以随时销毁再创建，但数据一定不能，所以就需要数据的持久存储，openstack官方给出的数据存储方案就是cinder模块，cinder模块需要cinder服务端和cinder存储节点共同构成，在本实验中，我们把cinder服务端一并安装在了controller节点上，另行配置一台cinder存储节点，也就是我们的block节点。

节点配置

openstack

bock

原创点赞1 阅读3949 收藏1 评论0 2017-08-20

openstack安装配置—— compute node配置

计算节点需要配置的主要是nova和neutron的客户端，控制节点在进行资源调度及配置时需要计算节点配合方能实现的，计算节点配置内容相对较少，实际生产环境中，需要配置的计算节点数量相当庞大，那么我们就需要借助ansible或者puppet这样的自动化工具进行了，废话不多讲，直接进入配置状态。

客户端

安装配置

nova

原创点赞0 阅读2543 收藏0 评论0 2017-08-20

openstack安装配置—— controller node配置

实际生产环境中，每个服务模块很有可能都是一个集群，但我们这里只是带大家配置了一个实验环境，所以我们这里把keystone、nova、neutron、glance、dashboard都安装在了contoller节点上。

服务配置

nova

keystone

原创点赞0 阅读2284 收藏0 评论0 2017-08-19

openstack安装配置—— 基础环境准备

众所周知，不管是公有云也好，私有云也罢，openstack都是赫赫有名的，那么今天就给大家分享一下oenstack官方目前较新版本mitaka的安装和配置，本次将会带大家配置openstack的Identity service、Compute service、Image service、Networking service、Block Storage service、Dashboard、Orchestration service、Shared File Systems service一些常用服务模块，以下是本实验的一些前期准备。

openstack基础环境配置

kvm虚拟机开启嵌套虚拟化过程

openstack实验环境

原创点赞0 阅读1142 收藏4 评论0 2017-08-19

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

爱情防火墙

ELK-基于用户访问IP做用户热力地图展示

修改elasticsearch映射模板——替换默认的logstash映射模板为nginx开头的模板

Windows10搭建标准的WAMP开发环境-httpd2.4+php7.2+mariadb10.3

logstash-使用日志的生成时间戳替换日志收集时间戳@timestamp

logstash-grok解析nginx+php日志

iptables常用语法+iptables规则写法

ELK最流行架构的搭建filebeat+kafka+zookeeper+ELK

ELK架构的演变

防火墙+多层反向代理的环境中核心web服务器获取用户真实访问IP

Windows下使用TortoiseGit的无法直接使用linux ssh-key的解决方案

supervisor安装及配置——管理守护进程的福利

民间最全的Linux系统内核参数调优说明

zabbix监控——zabbix邮件报警配置

Zabbix监控——zabbix触发器添加及设计

Zabbix监控——Zabbix自定义用户参数制作监控项

Zabbix监控——Zabbix创建模板（templates）及监控项（item）

zabbix监控——ZABBIX服务器配置过程

postfix+dovecot+extmail打造开源邮件系统

xshell使用技巧（工欲善其事，必先利其器）

bash shell数值比较(-eq)与字符比较(==)的区别

Tomcat集群session复制,httpd/nginx反代Tomcat集群

linux文本三剑客匹配网卡IP地址大PK(CentOS 7系统)

openstack安装配置—— dnshboard安装配置

openstack安装配置—— orchestration安装配置

openstack安装配置—— file share node 配置

openstack安装配置—— 实例启动（双网络模型）

openstack安装配置—— block node配置

openstack安装配置—— compute node配置

openstack安装配置—— controller node配置

openstack安装配置—— 基础环境准备