Jx战壕的博客_网络,Web服务器,虚拟化,安全,Linux,自动化运维,云计算,System/Service,Shell/Python/Go,DevOps/Monitor

Supervisord守护Prometheus遇到的坑

一直以来我采用supervisord来进行第三方服务的管理，百试不爽。所谓的第三方服务，我这里把不能通过yum或apt进行安装的，统统归拢为第三方；当然使用systemd来进行管理也很不错，不过在服务exit的时候需要自己写脚本来进行重启和重试操作。不例外的，Prometheus我还是采用了supervisord来进行启动管理，但是过完年后上班发现，我的prometheus无法收集targets的

supervisord

Prometheus

open

置顶原创推荐 2018-03-02 09:16:49 10000+阅读 9点赞 10收藏 4评论

ELK5---Elasticsearch Cluster的搭建

前言： ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。

cluster

Elasticsearch

ELK

置顶原创精选 2017-01-04 20:47:33 10000+阅读 2点赞 2收藏 1评论

Sentry--错误日志收集框架

简介 Sentry’s real-time error tracking gives you insight into production deployments and information to reproduce and fix crashes.---官网介绍 Sentry是一个实时事件日志记录和汇集的日志平台，其专注于错误监控，以及提取一切事后处理

log

python

docker

置顶原创精选 2016-11-02 17:03:56 10000+阅读 1点赞 2收藏

Grafana与Elasticsearch

之前一直用ELK体系里的Kibana做ES的WEB前端展示,kibana功能简单，可以直接显示log的内容，非常人性化，缺陷是没有权限、用户管理（我之前用Nginx和haproxy其中之一来代替），图形展示不够丰富，管理api等限制，更由于我需要更丰富的图形展示功能，所以开始寻找他的替代品Grafana。 Grafana简绍:Grafana是用于可视化大型测量数据的开源程

keyword

Elasticsearch

Grafana

置顶原创精选 2017-06-21 10:41:25 10000+阅读 2点赞 9收藏 3评论

用Mikrotik Router搭建GRE over IPSec 备用链路

公司在国内、日本、美国、德国、新加坡等多地均有业务，中间业务网络用的公司专有GPN(Global Private Network中文名是全球私有化网络）链路，目前测试搭建一条备用链路，用于网络冗余和故障切换。初步选用方案GRE over IPSec，跑ospf路由协议。一、为何要选GRE over IPSec：各个site网络比较多，需要使用路由协议进行互联

ospf

IPSec

GRE

置顶原创推荐 2016-01-06 17:17:19 10000+阅读 2点赞 1收藏

P2P--大文件分发网络的搭建

六月份去上海参加了DockOne组织的容器大会，报了一个小项目，不小心得了一等奖，这里拿出来跟大家共享一下其中核心的P2P传输网络的搭建，也是公司已经投入使用的大文件传输方式。项目设计：初衷：1、作为一个提供全球云计算业务的运营商来说，不管是本身海外节点业务的拓展、平台扩充还是客户定制模板业务的需求，都会涉及大文件的传输。一些普通的ISO系统镜像文件，一些客户定制的系统模板，少则十几

P2P

ansible

transmission

置顶原创精选 2016-06-16 19:03:45 10000+阅读 3点赞 3收藏 6评论

vpn

防火墙

软路由

置顶原创精选 2016-06-22 11:29:44 10000+阅读 2点赞 1收藏

无人值守安装

无人值守安装--PXE网络装机简介： PXE:（无人值守安装?） Pre-boot eXcution Environment批量安装操作系统：ＰＸＥ服务器　　　　客户端（网卡要支持网络引导）

pxe

kickstart

无人值守安装

置顶原创推荐 2014-04-02 22:42:53 1434 阅读 3点赞 1评论

pyvmomi 实现VMware自动化

运维离不开自动化，python的发展更是给自动化注入了一剂兴奋剂；还记得当时公司年会，大家都在嗨皮，苦逼的运维攻城狮还在卖力的给一个大客户手动开通500台云主机的情形，现在想想好傻O(∩_∩)O哈哈~。如果早点接触pyVmomi，就不至于这么苦逼了。 pyVmomi is the Python SDK f

python

自动化

pyvmomi

置顶原创推荐 2016-02-15 14:28:49 10000+阅读 11点赞 6收藏 10评论

Django中的日期处理注意事项和自定义时间格式转换

我们在用Django创建models时，常常会涉及时间日期字段的处理，Django里日期相关Field有DateTimeField、DateField和TimeField三种类型，看似简单，但其中有一些容易出错的地方需要注意；另外，如果不习惯Django的默认时间格式，也可以自定义的修改。DateTimeField、DateField和TimeField，其值分别对应着Python里的dateti

python

django

datetime

原创精选 2018-03-23 17:37:54 10000+阅读 2点赞 3收藏

Python监控服务器利器--psutil

服务器的监控通过安装一些常用的监控软件之外，有时也需要运行一些shell或Python脚本；shell下可以使用系统自带的ps/free/top/df等shell命令，Python可以调用subprocess等模块来运行shell命令，不过这么做就比较麻烦。这里有一个比较好用的第三方模块：psutil。psutil是一个跨平台的库，用于在Python中检索有关运行进程和系统利用率（CPU，内存，磁

python

psutil

监控

原创精选 2018-03-10 14:50:32 10000+阅读 4点赞 4收藏

用Prometheus细化Nginx监控

国内用Nginx的比较多，Nginx的监控比较老的方案可能是通过跑脚本定期收集nginx的status模块的数据，或者监控nginx的日志；后来阿里的tengine在国内开始流行，于是诞生了很多不错的lua模块;但是这些监控方案在有新的监控需求的时候，可能就需要再修改脚本或者更改nginxconf配置，有时候不是特别的方便。用Prometheus进行nginx的监控可以自动的对相关server_n

prometheus

nginx

vts

原创精选 2018-03-02 18:40:12 10000+阅读 2点赞 6收藏 3评论

Prometheus智能化报警流程避免邮件轰炸

Prometheus作为专业的监控体系，有自己专门的报警插件Alertmanager；Alertmanager是一个独立的告警模块，接收Prometheus等客户端发来的警报，之后通过分组、删除重复等处理，并将它们通过路由发送给正确的接收器；告警方式可以按照不同的规则发送给不同的模块负责人，Alertmanager支持Email,Slack，等告警方式,也可以通过webhook接入钉钉等国内IM工

Prometheus

alertmanager

运维报警

原创精选 2017-12-29 21:37:32 10000+阅读 6点赞 6收藏 1评论

Python心得--如何提高代码质量

前些日子用python基于prometheus开发了一个vsphere volume卷监控的exporter，于是跟vsphere的api(pyvmomi)接口打上了交道，开发的过程中你会发现pyvmomi的接口返回的对象好多列表类型的，当你取其中一个对象的时候可能需要进行多层的循环遍历。于是促使了我写这一篇文章，记录一下在使用python搬砖过程中的一些心得体会。如有错误，欢迎大家

Python

代码质量

Pythonic

原创精选 2017-10-12 18:20:17 3264 阅读 4点赞 3收藏

开发自己的分布式监控Prometheus Exporter时遇到的坑

这里说下我在开发自己的Prometheus Exporter时遇到的几个坑，所谓的坑，其实是在开发过程中需要注意到的几个关键点，如果忽略，那么可能会产生错误和非预期的结果。如果对Prometheus不了解的，可以自行谷歌或百度一下，或者可以看下我之前的一篇文章。Prometheus是基于Pull的工作模式，需要定期的从Agent端收集数据，并入库，

Python

Flask

prometheus

Exporter

原创精选 2017-09-29 23:39:03 10000+阅读 3点赞 3收藏 4评论

Linux源进源出与iproute2

最近在给客户做解决方案的时候遇到这么一个场景也给自己埋了个坑这里记录一下。具体需求如下现在客户国内服务器和国外的防火墙已经内网打通客户在国内有台WEB服务器要通过国外的一台防火墙访问外网需要从国外防火墙上能够回源到国内的WEB服务器即能够通过防火墙访问到WEB服务的80端口国内WEB服务器有自己的公网地址需要能够进行管理因为一开始客户没有提出第3条要回源的需求当时给客户设

linux

路由

route

原创精选 2017-06-15 11:07:37 9065 阅读 4点赞 1收藏

Kafka性能调优

Kafka的配置详尽、复杂，想要进行全面的性能调优需要掌握大量信息，这里只记录一下我在日常工作使用中走过的坑和经验来对kafka集群进行优化常用的几点。1.JVM的优化 java相关系统自然离不开JVM的优化。首先想到的肯定是Heap Size的调整。vim bin/kafka-server-start.sh &nb

配置

调优

kafka

原创精选 2017-06-12 15:08:26 10000+阅读 1点赞 5收藏

vim+python打造自己的IDE插件推荐

今天同事小伙伴突然告诉我说，他用的编辑器sublime3导致笔记本突然卡顿，看当时内存吃到了30G,而他笔记本总共才8G内存，怀疑是内存泄漏，果断换回了原来用的PyCharm。因为我也用PyCharm学习python，深知它的内存使用基本也在1G以上，听到他这个消息，我决定还是换回我一直习惯的vim，毕竟“编辑器之神”并非浪的虚名。所谓打造，其实就是找一些适合自己的插件

插件

vim

plugin

原创精选 2017-03-22 01:23:34 10000+阅读 3点赞 4收藏

Hadoop集群安装--Ubuntu

我家宝最近在自学Hadoop，于是乎跟着一起玩玩，在此为她整理一篇基础搭建的博客，希望对她能有所帮助。同样，开始之前先来了解下，什么是Hadoop。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。它是根据Google公司发表的MapReduce和Google文件系统的论文自行实现而成。Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为Map

cluster

hadoop

MapReduce

原创精选 2017-02-11 20:47:20 943 阅读 2点赞 5收藏

记录一次git的误删除操作--恢复

git commit之后想撤销重来一次，就执行了git reset操作，但是加个--hard参数，git reset --hard 把所有提交的文件都删除了，尝试了git reflog show和git reset HEAD@{x}等操作均无效。最终的解决办法是：git ls-files -d | xargs gi

git

转载精选 2016-10-06 22:36:47 1049 阅读 1收藏

SYN flooding处理--内核调优

实际生产环境中出现SYN flooding的情况好多次了，之前虽然解决了，但一直没好好整理一下。直到上周五又出现该问题，这次利用周末的空闲时间好好查阅资料研究了翻，整理一篇博文。想说的是，养成写博客或者整理文档的习惯真的很重要，因为当你把它写成一篇文章的时候，首先你自己必须要先理解，然后思路必须要清晰，有时候可能需要花上一整天的时间查资料，对自己也是一种提高，才算是对自

tcp

kernel

调优

原创精选 2016-09-04 14:15:06 10000+阅读 1点赞 1收藏

ovftool自动部署/导出ova/ovf模板

一、简介 OVF(Open Virtualization Format)是多家虚拟化厂商和硬件厂商共同定义的一个虚拟设备的规范，ovf格式的虚拟设备(其实就是一些文件)可以被多家虚拟化软件设备并import到虚拟化环境，比如VMware、XenServer、VirtualBox等等。OVF一般有几个部分组成，分别是ovf文件、mf文件、cert文件、vmdk文件和iso文件。OVF（O

模板

vmware

import

原创精选 2016-04-26 00:13:27 10000+阅读 1点赞 2收藏

freenas搭建nas及san网络存储详解

FreeNAS是一套免费的NAS服务器，它能将一部普通PC变成网络存储服务器。该软件基于FreeBSD，Samba 及PHP，支持CIFS (samba), FTP, NFS protocols, Software RAID (0,1,5)，ISCSI及 web 界面的设定工具。用户可通过Windows，linux，Mac来访问存储服务器；FreeNAS可被安装于硬盘或移动介质USB Flash Disk上。FreeNAS 服务器前途无量；它的开发工作十分活跃。单是2006年前4个月就释出11个修正版本。它是组建简单网络存储服务器的绝佳选择，免去安装整套Linux或 FreeBSD 的烦恼。而且FreddNAS还有监控网络情况的作用，重要的一点Freenas 8及其后续版本不支持系统文件与存储共同使用同一块硬盘，系统文件单独使用一个设备，该设备可以是USB内存卡、U盘、单独的一块硬盘等，存储使用另一磁盘设备。

nas

freenas

san网络存储

转载精选 2015-11-04 18:25:19 3646 阅读

存储与服务器的连接方式对比（DAS,NAS,SAN）

磁盘存储市场上，存储分类根据服务器类型分为：封闭系统的存储和开放系统的存储，封闭系统主要指大型机，AS400等服务器，开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器；开放系统的存储分为：内置存储和外挂存储；开放系统的外挂存储根据连接的方式分为：直连式存储（Direct-Attached Storage，简称DAS）和网络化存储（Fabric-AttachedStorage，简称FAS）；开放系统的网络化存储根据传输协议又分为：网络接入存储（Network-Attached Storage，简称NAS）和存储区域网络（Storage Area Network，简称SAN）。

存储

NAS

DAS

SAN

转载精选 2015-11-04 18:22:33 2112 阅读

理解TCP三次握手--大白话

看了个比较有意思的博文，转来收藏；文章出自“雨林”：http://www.cnblogs.com/yuilin/archive/2012/11/05/2755298.html 理解ＴＣＰ为什么需要三次握手：三次握手的最主要目的是保证连接是双工的，可靠更多的是通过重传机制来保证的。但是为什么一定要进行三次握手来保证连接是双工的呢，一次

tcp三次握手、syn、ack、seq

转载精选 2015-03-22 19:20:21 1450 阅读

vSphere5的存储DRS

VMware公司vSphere 5产品的发布，为虚拟化平台带来了许多令人兴奋的新特性和许多增强的功能，尤其是在存储方面。存储方面两个最大的新特性是存储分布式资源调度(Storage DRS)和配置驱动存储(Profile-Driven Storage)，它们提供了对管理和控制存储资源而言非常有用的手段。在vSphere以前的版本中，分布式资源调度管理功能可以基于CPU和内存资源的利用率来分配和均衡

存储

虚拟化

DRS

vSphere

转载精选 2014-09-25 15:30:29 755 阅读

修复错误配置fstab文件导致系统无法正常启动

修复错误配置fstab文件导致系统无法正常启动本文出自 “sky” 博客，请务必保留此出处http://skymax.blog.51cto.com/365901/114394

linux

系统

fstab

转载精选 2014-08-29 02:50:17 716 阅读

子网的划分

从别人那拿来的，大白话，简单易懂，收藏了。ip的划分,超详细.在不会你砍我[经典]IP和子网掩码我们都知道，ＩＰ是由四段数字组成，在此，我们先来了解一下3类常用的ＩＰ　　A类IP段　 0.0.0.0 到127.255.255.255　　B类IP段　 128.0.0.0 到191.255.255.255　　C类IP段　 192.0.0.0 到223.255.255.255 　　ＸＰ默认分配

子网划分

ip地址

子网掩码

转载精选 2014-06-26 14:58:46 505 阅读

PAM可插拔认证

PAM1. 介绍 PAM全称是可插拔身份认证模块(Pluggable Authentication Modules);Linux-PAM (Linux下的可插入式认证模组) 是一套共享函数库,允许系统管理员来决定应用程式如何识别用户. 换句话说,就是用不着(重写和)重新编译

PAM

可插拔认证

转载精选 2014-04-25 23:19:08 822 阅读

SSH基础应用

SSH基础应用一、不登陆远程主机在上面创建用户# ssh root@远程主机 ‘useradd xxxx’二、登陆远程主机，能打开GUI界面# ssh -X root@远程主机三、主要的配置文件更改# vim /etc/ssh/sshd_c

服务器

客户端

用户

SSH

认证

转载精选 2014-04-25 23:14:21 592 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

xujpxm

Supervisord守护Prometheus遇到的坑

ELK5---Elasticsearch Cluster的搭建

Sentry--错误日志收集框架

Grafana与Elasticsearch

用Mikrotik Router搭建GRE over IPSec 备用链路

P2P--大文件分发网络的搭建

VyOS--企业软路由推荐

无人值守安装

pyvmomi 实现VMware自动化

Django中的日期处理注意事项和自定义时间格式转换

Python监控服务器利器--psutil

用Prometheus细化Nginx监控

Prometheus智能化报警流程避免邮件轰炸

Python心得--如何提高代码质量

开发自己的分布式监控Prometheus Exporter时遇到的坑

Linux源进源出与iproute2

Kafka性能调优

vim+python打造自己的IDE插件推荐

Hadoop集群安装--Ubuntu

记录一次git的误删除操作--恢复

SYN flooding处理--内核调优

ovftool自动部署/导出ova/ovf模板

freenas搭建nas及san网络存储详解

存储与服务器的连接方式对比（DAS,NAS,SAN）

理解TCP三次握手--大白话

vSphere5的存储DRS

修复错误配置fstab文件导致系统无法正常启动

子网的划分

PAM可插拔认证

SSH基础应用