ELK-基于用户访问IP做用户热力地图展示

想必很多时候我们都想直观的看出访问我们网站的用户是主要来自哪些地区的，kibana的作者在开发的时候也没少给大家福利， 已经内置了基于访问IP做用户热力地图展示的功能。所以也算是kibana给广大用户提供的一大福利，今天笔者就来带大家一起 做一个直观的热力地图出来。

原创 点赞2 阅读4199 收藏1 评论0 2018-10-28

修改elasticsearch映射模板——替换默认的logstash映射模板为nginx开头的模板

相信很多探索ELK的朋友和我一样，总是想把nginx访问日志的索引名称修改为自己想要的名称模式， 例如：nginx-access-YY.MM.DD，不相信使用默认的必须以logstash-开头的，但是就这一个更改却 可能带来很多的问题，比较常见的是自定义的映射模板导入失败，参数不生效，geoip的定位信息无法 在kibana中调用，笔者也是吃尽了苦头，查阅了很多的技术博客，理解了模板映射的原理后，反复尝试 才成功使用上了自定义的模板映射文件。不知道很多前辈是踩过坑都不说还是之前的版本有新版有区别， 反正没有看到对此问题说的特别清晰的文章，所以笔者吃尽苦头之后，还是把自己的心路历程写出来， 希望对后人有所帮助。

原创 点赞2 阅读10000+ 收藏1 评论12 2018-10-25

Windows10搭建标准的WAMP开发环境-httpd2.4+php7.2+mariadb10.3

这些年来，也一直都在运维Linux环境，突然有朋友自学PHP开发，说要在自己的windows笔记本上搭建一套PHP的开发环境，之前的开发环境也都是开发人员自己搞定的，所以也没去研究过。应邀接单后竟然发现自己都不会玩windows的在WAMP环境，说来可悲啊！技术无国界，技术无高低。所以苦水往肚子里面咽。一翻的google后，在自己高性能的笔记本上使用vmware开始安装了个全新的windows10系统，然后直接上官网下载了AMP所需的各个部件，一路的尝试，WAMP架构终于成功了，但有一个感觉是windows环境比Linux环境更难玩啊！为了能够让大家看的更清晰的过程，又重头到尾来了一次，所以有了下文。

原创 点赞0 阅读5630 收藏1 评论2 2018-10-24

logstash-使用日志的生成时间戳替换日志收集时间戳@timestamp

默认情况下ELK收集到的日志在kibana上展示出来的时间戳和日志的生成时间是不一致的，或许很多朋友来说和日志生成的时间相差无几， 那我只能说，你的日志系统可能资源比较充足，处理的比较及时，所以你看到的日志收集时间戳和日志产生时间戳是相差无几的效果， 但如果是想导入历史日志数据进行相应的分析，这个时候恐怕你的日志系统处理速度再块也无法解决日志收集时间和日志生成时间相差太 远的问题。如果不进行处理，你在kibana上所看到的时间序列根本不是日志生成的时间戳，所以说如何使用日志的生成时间戳去替换掉存 储在Elasticsearch中的时间戳也即@timestamp字段就显得尤为重要了。场景搞明白了，重要的就是如何实现了！

原创 点赞0 阅读10000+ 收藏0 评论0 2018-10-21

logstash-grok解析nginx+php日志

​ELK的基础架构搭建相对来说还是比较容易的，架构搭建完成后一个重要任务就是如何把生产中的服务器日志给解析好后 存进Elasticsearch了，这个过程中间最关键的一步就是如何使用filter插件格式化日志数据的问题。笔者在此过程中 也是被grok的正规表达式磨到想哭的地步，所以大家也不要遇到一点困难就选择放弃了！

原创 点赞1 阅读4882 收藏0 评论0 2018-10-18

iptables常用语法+iptables规则写法

企业中用硬件防火墙的场景是大多数，但有时候也还是会用到iptables，所以做为运维工程师，使用iptables的做主机防火墙和网络防火墙的规则写法还是需要掌握的，废话不多说，直接来干货。

原创 点赞0 阅读3677 收藏0 评论0 2018-10-16

ELK最流行架构的搭建filebeat+kafka+zookeeper+ELK

本文给大家分享一下，如何搭建一个最为流行的ELK架构，上一篇博文中已经给大家分享过ELK架构的演变之路， 也给出了当下最为流行的ELK日志架构，那就是filebeat+kafka（zookeeper）+logstash+elasticsearch+kibana。

原创 点赞1 阅读4185 收藏0 评论0 2018-10-16

ELK架构的演变

ELK的名称是由最原始架构的三个组件的首字母组合而来，即E（lasticsearch）L（ogstash）K（ibana）， 当然ELK演变至今天已经不再只用三个组件了。最原初的三个组件都是基于java语言研发的，相对来说比较 重量级，正常运行所需服务器配置要求较高。想在生产中使用ELK做日志分析的朋友需要做好资源准备。 要想上手ELK，必须对ELK的架构及运行原理做透彻的理解，废话不多说，先来看ELK架构的演变之路。

原创 点赞0 阅读1210 收藏0 评论0 2018-10-15

防火墙+多层反向代理的环境中核心web服务器获取用户真实访问IP

在企业实际运用中，真实业务服务器往往都不是直接对外提供服务的，前面大多都会添加反代服务器以及防火墙， 但这样以来核心的业务服务器如何获取到用户的真实IP往往是运维考虑的一个核心问题，今天我给大家分享一下 企业真实企业真实环境下核心web服务器如何获取用户的真实IP。由于线上大多使用硬件防火墙，我们这里 使用CentOS自带的iptables来进行模拟，也方便大家阅读本文进行实践。

原创 点赞0 阅读2761 收藏0 评论0 2018-10-11

Windows下使用TortoiseGit的无法直接使用linux ssh-key的解决方案

写此文章的重要原因是很多人在windows下使用TortoiseGit时觉得无法直接和Linux系统共用一个密钥对 究其原因是TortoiseGit默认使用PuTTY格式的ssh-key，和linux系统的ssh-key格式不一样，如果要想使用 就必须使用key格式转换工具进行相应的转换才可以使用，那么有没有其它更为便捷的方式了，当然是的有 那就是直接更改TortoiseGit调用的ssh客户端，让其直接使用和linux系统一致的ssh客户端，也即 git-for-windows所提供的ssh客户端,具体操作如下

原创 点赞0 阅读2873 收藏0 评论0 2018-08-06

supervisor安装及配置——管理守护进程的福利

CentOS7以上直接使用yum安装即可正常使用小配文件配置supervisor程序 并可以多进程方式启动自己的进守护进程 但CentOS6系统使用yum安装的supervisor不支持使用小配置文件和多进程 所以要想在CentOS6系统上的正常使用supervisor管理自己的守护进程 就需要使用python安装器进行安装，具体步骤参考如下

原创 点赞1 阅读1970 收藏0 评论0 2018-08-03

民间最全的Linux系统内核参数调优说明

相信做运维的同仁，进行运维环境初建时，必须要考虑到操作系统内核参数的优化问题，本人经历数次的运维环境重建后，决定要自行收集一份比较完善的系统内核参数优化说明文件出来，于是就有了下文，本文当前值是官方默认参数，建议参数直接添加于sysctl -a输出的结果每一行的后面，希望对运维的同仁做系统内核参数调优时有所帮助。废话不多讲，直接上干货！

原创 点赞3 阅读10000+ 收藏7 评论4 2018-07-30

zabbix调用telegram机器人发送报警消息

众所周知，telegram的机器人还是非常好用，而且是免费的，所以这就给监控系统发送报警消息提供了一个非常好的渠道，相信很多朋友已经垂涎三尺了，所以废话不多说，直奔主题吧！

原创 点赞1 阅读10000+ 收藏2 评论2 2018-06-04

zabbix监控——zabbix邮件报警配置

前面带着大家从搭建zabbix服务器开始一直到触发器设计完毕，这一系统本身已经可以运作起来了，只是需要有一个便捷的渠道及时告诉我们运维人员去处理一些存在问题，这里就需要我们去配置一下zabbix所提供的报警机制，zabbix的报警支持报警升级机制，这对我们运维人员来说是非常有用的，我们在让zabbix通知我们相关人员的时候就可以做一个简单的规划了，比如说前5次报警直接通知运维工程师，如果5次报警后报警问题没有得到修复，第6次报警就直接通知运维主管；或者我们可以让zabbix第一步执行对应脚本进行一次软修复，如果问题依旧时再次通知运维人员，以实现在出现问题后的第一时间能够恢复为主的思想。

原创 点赞3 阅读10000+ 收藏0 评论0 2018-03-20

Zabbix监控——zabbix触发器添加及设计

有了好的监控项，也还得有好的触发器，才能有效触发zabbix报警动作，杂乱无章的触发器只会增添zabbix报警系统的负担，同时也给运维人员带来的大量的垃圾信息，所以一个好的监控系统中，触发器的设计也是需要动脑子的。当然今天在这里也只不过抛砖引玉，给大家简单示范一下。

原创 点赞4 阅读8862 收藏0 评论4 2018-03-16

Zabbix监控——Zabbix自定义用户参数制作监控项

很多情况下，我们使用zabbix内建的监控项不足以监控企业的具体业务，这时就需要使用zabbix提供的自定义参数扩展接口，自己根据业务监控需求，开发相应的脚本作为数据获取途径，自定义参数又存在两种方式，一种是直接把脚本内容写在自定义参数配置文件里面，另一种是写成独立的脚本文件，自定义参数配置文件里面直接调用脚本。

原创 点赞3 阅读10000+ 收藏0 评论2 2018-03-16

Zabbix监控——Zabbix创建模板（templates）及监控项（item）

生产环境中，有一个简单的原则，那就是无监控不上线，监控系统开源方案中，zabbix也算不错的选择。由于其系统接口的开放性，使用zabbix监控公司自己的业务时都需要创建自己的模板及监控项，今天就先给大家展示一下如何创建监控项。

原创 点赞3 阅读10000+ 收藏0 评论2 2018-03-16

zabbix监控——ZABBIX服务器配置过程

生产中的服务器几乎是无监控不上线，开源实现方案中，zabbix属于后起之秀，的确接合zabbix提供的自定义接口能够比较方便的实现高灵活性的监控自己的业务细节，今天就给大家分享一下zabbix监控的搭建过程。

原创 点赞2 阅读3431 收藏0 评论2 2018-03-12

postfix+dovecot+extmail打造开源邮件系统

postfix+dovecot+courier-authlib+mariadb+extmail打造开源邮件系统 企业中处于邮件账户的数量众多，使用商业版本的邮件系统价格高昂，再加上使用商业版本的邮件系统，邮件内容保护也会带一定的麻烦，所以还是有不少企业选择了开源邮件系统，毕竟自己的邮件数据存储在自己的服务器上还是比较放心的，那么就给大家分享一下如何使用阿里云的ECS搭建自己的纯开源方案的邮件系统。

原创 点赞1 阅读7774 收藏2 评论4 2018-01-30

xshell使用技巧（工欲善其事，必先利其器）

做linux运维的朋友肯定需要用远程连接工具，但使用远程连接工具的过程难免会遇到一些令人费解的问题，比如很多朋友一直在苦恼的使用xshell时中文字符显示乱码、中文字符显示横向、vim使用不了专业数字键盘等诸多问题。工欲善其事，必先利其器，今天就在这里给运维小白中科普一点点。

原创 点赞1 阅读1517 收藏0 评论0 2018-01-24

bash shell数值比较(-eq)与字符比较(==)的区别

运维中经常编写脚本时，如果遇到使用变量间歇取值并和整数进行比较时，大多数人第一时间会想到使用"-eq"进行比较，但事实中如果因特殊原因导致变量取值为空（null）时，bash shell会把null转换为0进行"-eq"比较，如果遇到此种困惑，可以把整数比较方法改为使用字符串比较(==)，这样就可以很好的解决整数比较带来的这种bug。 为什么会有此文章，正是因为笔者在线上使用脚本运维的过程中，因此bug出现过两次失手，也给公司带来了带来了一些损失，经过仔细分析程序日志和脚本运行逻辑，加上如下测试过程，才真正找到了bug的所在以及解决办法。以下是笔者推敲思路，供大家分析之用。

原创 点赞1 阅读10000+ 收藏0 评论2 2018-01-21

Tomcat集群session复制,httpd/nginx反代Tomcat集群

​一个大型站点都会涉及到动态应用，动态应用都需要做会话保持，常见的会话保持方式就三种，一是session stick，二是session replication，三是session share，对于小型规模的tomcat集群，大多者会采用session replication方式，但阅读官方文档也好，查询大牛博客也罢，发现均有不准确之处，所以亲测成功实现之后得出如下文档，还望高人指点。

原创 点赞0 阅读1007 收藏2 评论0 2017-09-27

linux文本三剑客匹配网卡IP地址大PK(CentOS 7系统)

  运维工程师在做配置的过程中很多时候都需要去获取目标服务器网卡上的IP地址，那究竟用什么方式获取更便捷了，博主今天就带大家使用linux文本三剑客分别获取一下网卡的IP地址，最后我们再来对比一下。

原创 点赞0 阅读1786 收藏1 评论0 2017-08-27

openstack安装配置—— dnshboard安装配置

  做为专业运维人员，使用命令行工具去管理云主机是没有问题的，但如果云要提供给客户使用，就不可能让用户命令行工具去管理自己的云主机了，此时，就需要一个简单易用的管理页面提供给用户了，openstack官方也很体贴的为我们已经准备好了，只是程序代码方面还存在着一些小问题，不过我已经帮大家趟过一连坑了，按照如下的配置流程是可以让大家体验到使用鼠标管理云主机的效果的。

原创 点赞0 阅读1396 收藏2 评论0 2017-08-20

openstack安装配置—— orchestration安装配置

  如果一次需要启动10个实例，手动一个一个的去套模版启动，相信也行太low了吧，openstack官方也为运维人员准备了强大的利器，那就是任务编排orchestration服务模块了，当然如果要想用好这一工具来帮我解决低级趣味的任务编排，还需要我们专业去学习一下heat模版语法了，在这里我只是带大家简单实现一下通过任务编排模版自动创建并启动一个实例，具体语法规则不这里不详细陈述。

原创 点赞1 阅读1008 收藏0 评论0 2017-08-20

openstack安装配置—— file share node 配置

     实际生产中，很多时候需要数据源的共享来实现多节点的实时数据保持一致，openstack官方提供了manila服务模块实现了云盘共享，manila服务也是需要manila服务端和存储节点共同组成的，本实验中为了节约虚机节点，就把manila服务端安装在了controller节点上，manila数据存储节点和cinder存储节点合并使用一个虚机节点，各自使用了一块独立硬盘。

原创 点赞0 阅读873 收藏1 评论0 2017-08-20

openstack安装配置—— 实例启动（双网络模型）

  启动实例前至少需要配置好nova和neutron服务，当然实际中cinder服务也是必须的，否则一台虚拟是可以启动，但没有数据卷也是不合常理的。启动实例之前需要事先创建好网络模型，私有网络模型是包含公有网络模型的，所以我们前面配置netron服务时直接选择了私有网络模型，当然此时我们要想启动实例，公有网络模型和私有网络模型我们都可以选择，本实验中我们会先带大家在公有网络模型下启动一个实例，私有网络模型下启动实例要比公有网络下复杂一些。

原创 点赞0 阅读1051 收藏1 评论0 2017-08-20

openstack安装配置—— block node配置

  对于云主机来说，机器可以随时销毁再创建，但数据一定不能，所以就需要数据的持久存储，openstack官方给出的数据存储方案就是cinder模块，cinder模块需要cinder服务端和cinder存储节点共同构成，在本实验中，我们把cinder服务端一并安装在了controller节点上，另行配置一台cinder存储节点，也就是我们的block节点。

原创 点赞1 阅读3462 收藏1 评论0 2017-08-20

openstack安装配置—— compute node配置

  计算节点需要配置的主要是nova和neutron的客户端，控制节点在进行资源调度及配置时需要计算节点配合方能实现的，计算节点配置内容相对较少，实际生产环境中，需要配置的计算节点数量相当庞大，那么我们就需要借助ansible或者puppet这样的自动化工具进行了，   废话不多讲，直接进入配置状态。

原创 点赞0 阅读2251 收藏0 评论0 2017-08-20

openstack安装配置—— controller node配置

  ​实际生产环境中，每个服务模块很有可能都是一个集群，但我们这里只是带大家配置了一个实验环境，所以我们这里把keystone、nova、neutron、glance、dashboard都安装在了contoller节点上。

原创 点赞0 阅读2128 收藏0 评论0 2017-08-19
  • 1
  • 2
  • 3
  • 4

Copyright © 2005-2021 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 意见反馈 了解我们 全部文章
在线客服 博客问答 网站地图 热门标签
友情链接
鸿蒙官方社区 51CTO学堂
51CTO