david_bj的博客_Mysql,大数据,Linux,网络监控,负载均衡,虚拟化,Red Hat,Linux系统运维,虚拟化技术,网络管理原创

python+Django实现Nagios自动化添加监控项目

最近机房刚上了一批机器(有100台左右)，需要使用Nagios对这一批机器进行监控。领导要求两天时间完成所有主机的监控。从原来的经验来看，两天时间肯定完成不了。那怎么办？按照之前的想法，肯定是在nagios配置文件逐一添加每台客户端的监控信息，工作量巨大。突然，想到一个想法，是否可以通过脚本来实现批量对主机进行监控，也就是运维自动化。写脚本，最重

nagios

监控服务器

运维自动化

置顶原创推荐 2013-07-15 18:22:22 10000+阅读 21点赞 1收藏 14评论

我的友情链接

51CTO博客开发王伟sery游造技术博客峰云黄思聪峰云，就她了。宋明明王鹏程刘天斯阿三牛叉赖勇浩常高伟

原创 2017-11-22 23:10:55 801 阅读

python slots 使你的代码更加节省内存

在默认情况下,Python的新类和旧类的实例都有一个字典来存储属性值。这对于那些没有实例属性的对象来说太浪费空间了，当需要创建大量实例的时候，这个问题变得尤为突出。因此这种默认的做法可以通过在新式类中定义了一个__slots__属性从而得到了解决。__slots__声明中包含若干实例变量，并为

__slots__ collectio

原创 2015-07-23 15:55:37 4929 阅读

python 代码检查，实现行级代码优化

有时候运行一个python程序，它需要运行很长时间。你或许想提升该程序的运行效率。那该怎么做那？首先需要你要找到该程序瓶颈在哪里~ 比如，哪个函数的运行花费时间比较长？哪个函数占用内存比较多，是否需要优化对内存的使用？哪个占用cpu时间比较长？等... 这些都需要考虑，python有几个库可以帮助

程序

主题

python

touch

原创 2015-07-21 11:53:31 10000+阅读 7点赞 2评论

python并行处理任务时该用多进程？还是该用多线程？

在python并行处理任务时要使用多线程还是多进程？说到这个话题，必须要提的GIL( Global Interpreter Lock)全局解释锁，当Cpython每次执行字节码时都要先申请这个锁。那么问题就来了，如果使用多线程是比也会受到影响。多线程和多进程程序比较，哪个性能更高？还是拿一个

程序

多线程

python

影响

原创 2015-07-10 18:24:04 6334 阅读 1收藏

图解YARN工作原理

YARN 即MapReduce V2版本。相比MapReduce V1 它有很多优点： 1. 分散了jobTracker 的任务。资源管理任务由资源管理器负责，作业启动、运行和监测任务由分布在集群节点上的应用主题负责。这样大大减缓了MapReduce V1中jobTracker 单点

yarn 执行流程

原创 2015-07-05 17:08:11 10000+阅读 1点赞

HDFS中的NameNode和DataNode

HDFS集群中以Master-Slave模式运行，主要有两类节点：一个Namenode节点(即master)和多个Datanode节点。Namenode管理文件系统的Namespace.他维护着文件系统树以及文件树中所有的文件和文件夹的元数据。 hdfs架构图： Nam

hadoop hdfs namenod

原创 2015-06-16 18:15:20 3973 阅读

dns 自动化管理平台

又一次开发DNS管理平台，去年开发过两个版本。来到新公司，又来了这样的需求。好吧~ 那就再开发一个版本。去年第一个版本底层是bind，给予文件管理，这样管理起来比较复杂，而且每次发布持续时间特别长。第二个版本使用bind dlz，给予数据库管理，稳定性太

dns管理平台

原创 2015-06-02 18:34:08 10000+阅读 2点赞 2评论

运维自动化--代码发布平台

随着业务线和项目增加，使用rsync 命令方式发布代码已经无法满足需求。所以想搞一套代码发布平台。【需求收集】 1.年前开发了一个版本，当时只是和前端PHP团队沟通过。开发完发现后端需求和前端的需求有出入。所以这个版本给废掉了。 2.春节后，跟各业务线Leader重新沟通了一下需求，准备重新开发。【开发架构】

运维自动化

Coderelease

代码发布平台

原创 2015-03-11 09:19:01 10000+阅读 9点赞 2收藏 12评论

Nginx + openssl 搭建https服务

近期忙着和第三方短信公司对接短信上行接口。给予https和digest认证方式进行数据的传输。digest认证由前端phper进行实现，我需要完成nginx+ssl实现https服务。ssl使用openssl自己进行制作。 SSL原理：&

服务器

输入密码

短信公司

原创 2015-02-11 17:11:05 8252 阅读

zabbix 实现短信告警

之前一直调用飞信接口发送告警信息，最近购买了第三方短信接口。所以准备使用接口发送告警。短信接口是基于https的摘要认证。https认证还是自己做的，调用接口的时候还需要load证书。感觉超级难用，不管那么多，先让它跑起来再说。废话不多说，先上代码。#!/usr/bin/env

content

短信接口

原创 2015-01-27 09:37:33 3222 阅读 1点赞

ES1.4 中文分词插件ik

ES 官方只支持smartcn这个中文分词插件，是按照单个字进行索引。前端产品搜索时，凡是带这个关键字的都会被索引到。打个比方:搜索"苹果"关键词，凡是包含"苹"和"果"的title都会被索引到。所以为了这个需求，找一个第三方的中文分词插件.看了一下，国内有几款中分分词插件:ik、ansj和mmseg。最后我选择使用了ik。 &nbs

ES

IK

原创 2015-01-15 15:24:00 2106 阅读

zabbix使用LDAP认证

为统一管理内部系统的账户，想让zabbix使用LDAP认证方式。原来zabbix有和SSO系统进行整合。当想更好管理zabbix的权限，所以想直接和LDAP整合，反正SSO账户信息也是从LDAP得到的。公司LDAP使用的是windows的Exchange。首先需要在AD域内创建一个账户。 &nbs

zabbix

LDAP认证

原创 2014-12-03 09:41:06 10000+阅读 1点赞 1评论

python Pycurl 库 —— 实现对网站抓包分析

经常使用基调网络的同学，可能对基调网络对页面元素的性能展示感觉很好。它可以做到对一条URL做详细的检测，包括：阻塞时间、DNS解析时间、建立连接时间、SSL握手时间、发出请求时间、首包时间等。其实，我们也可以做到。比如Python pycurl 库就可以做

python

Pcurl

原创 2014-08-14 22:11:09 6395 阅读 2点赞 3评论

Centos6 系统初始化

系统安装完之后，一般不会马上去部署应用。首先需要对系统进行优化，包括：文件句柄优化、服务器时间同步、内核参数的优化、iptables优化等。需要根据自己的业务，优化相应的参数。如下是之前写的一个初始化脚本。#!/bin/bash #this script is only&n

初始化

系统

Centos6

原创 2014-08-12 18:34:49 1833 阅读 1点赞

使用Python进行线程编程

对于Python来说，并不缺少并发选项，其标准库包括了对线程、进程和异步I/O的支持。在许多情况下，通过创建诸如异步、线程和子进程之类的高层模块，Python简化了各种并发方法的使用。除了标准库之外，还有一些第三方的解决方案。例如Twisted、Stackless和进程Module。因为GIL，CPU受限的应用程序无法从线程中受益。使用Python时，建议使用进程，或者

python

多线程编程

原创 2014-07-31 09:59:03 1481 阅读 1点赞

Http协议详解

无论搞WEB运维还是Web开发的人员，都需要了解HTTP协议。只有对http协议熟练掌握了，在遇到问题时候才能够迎刃而解。所以熟练掌握http协议是很有必要的。1.Http协议 > 定义超文本传输协议是一种详细规定了浏览器和万维网服务器之间互相通信的规则，通过因

协议

http

原创 2014-07-27 17:43:38 3945 阅读 2点赞 1收藏

Django+bind dlz DNS管理平台

经过两周开发，DNS管理平台终于开发完成。今天正好有时间，给大家分享一下。1.整体架构 > DNS 服务器分成两组，每组在不同的机房。保障一组机器出现问题，减少对用户的影响。 > 每组DNS服务器使用lvs，实现负载均

DNS

django

bind-dlz

原创 2014-07-15 22:22:00 5610 阅读 4点赞 2评论

django 日志logging的配置以及处理

日志在程序开发中是少不了的，通过日志我们可以分析到错误在什么地方，有什么异常。在生产环境下有很大的用途。在Java开发中通常用log4j,logback等第三方组件。那么在django中是怎么处理日志？django利用的就是Python提供的logging模块，但django中要用logging，还得有一定的配置规则，需要在setting中设置。logging模块&nb

django

logging

原创 2014-07-02 23:13:19 10000+阅读 1点赞 3评论

启用nf_conntrack模块,避免table full dropping

最近收到Iptables服务器报警"nf_conntrack: table full, dropping packet."。经过对日志分析，最终将问题解决了。给大家分享一下。问题分析：ip_conntrack是linux NAT的一个跟踪连接条目的模块,与Iptables相关，ip _conntrack模块会使用一个哈希表记录 tcp 通讯协议的 e

linux

服务器

虚拟机

service

记录

原创 2014-06-28 19:03:00 10000+阅读 1点赞 1评论

TFO(tcp fast open)简介

一直以来对内核没有太多研究，最近国外业务扩展较快，国外没有节点。所以国外用户访问国内服务器时，延时比较大。为了解决这个问题，在香港上了一个proxy，通过proxy回国内节点获取数据，最后返回客户端。为提高回源性能，有人提出TFO解决方案，以前没有听说过。所以来学习一下。1. TFO(t

TFO

原创 2014-06-13 23:16:30 10000+阅读 1点赞 1评论

CDN 二级回源实现

随着Cache节点数量的增加，大量的图片回源，导致图片源站的压力在不断增加。源站load飙高、IO飙高。由于图片源站上还有其他业务，必须使源站的压力降下来： 1、更改Cache 的回源策略(每天都有新的图片上传，也会产生大量的回源)。 2、增加二级回源功能(上传的新图片，只有二级源站取一次图片就Ok了，其

Cdn

二级回源

原创 2014-06-08 22:24:07 7898 阅读 4点赞 6评论

Python 自动化管理Mysql数据库

MySQL数据库一款非常优秀的开源数据库，很多人都在使用。我也不例外，数据库实例创建、数据库状态检测、数据库备份等，天天做着重复、枯燥的工作。为了减轻工作量，使用Python写了一个自动管理Mysql数据库的工具。具体功能： Mysql管理工具的主要功能： > 数据

管理工具

配置文件

数据库备份

import

library

原创推荐 2014-06-04 23:48:33 7665 阅读 5点赞 1收藏 6评论

Protobuf +ZeroRpc 高性能分布式RPC 数据传输

CMDB系统一直使用json 格式作为API接口进行数据的收集和渲染。当数据量比较大时，使用http协议对json数据传输时，传输比较耗时。无意间发现google有一款开源软件protocol buffer，通过测试发现的确性能比json提高不少。 protobuf Google Prot

google

protocol

开源软件

原创推荐 2014-05-26 23:08:22 6602 阅读 2点赞 2评论

python 多线程实现定期更新ip库

通过最近监控发现，使用第三方Cdn公司的带宽偏高。由于最近没有增加新的业务。感觉其中肯定有问题。按照我们的Cahe架构，用户首先到我们自建Cache节点获取数据，如果该区域没有我们的节点，会去第三方节点进行取数据。具体架构如下：用户无论在我们自建Cache节点还是第三方Cache节点

多线程

python

自动更新

ip库

原创 2014-05-22 18:52:57 1653 阅读 1点赞 1评论

dnspython 实现DDNS功能

DDNS应用场景一个平台有一组MYSQL集群服务器，该组服务器通过域名解析进行提供服务。如果其中一台服务器宕机，可以通过DDNS将其中出现故障的服务器踢出该集群，避免访问到该台服务器的用户受到影响；当该集群的平均负载过高，可以自动从备用的机器中，拉出一台机器，添加到该集群，降低该集群的负载。dnspythondnspython 是python的一个DNS工具包。它支持几乎所有的记录类型。它可以用于

服务器

记录

动态

python

工具包

原创 2014-05-22 09:19:58 6128 阅读 2点赞

Django-South 实现数据库自动迁移

1. South 简介 South 是Django的第三方app，专门做数据库表结构自动迁移工作。他已经成为Django数据库表迁移标准，很多第三方app都会带South migrations脚本。2. syncdb简介 syncdb意思是数据库同步。syncdb 命令是同步你的模型到数据库的一个简单方法。它会根据 INSTALLED_APP

第三方

原创 2014-05-15 10:21:50 2047 阅读

gitlab 安装报错：Could not find modernizr-2.6.2 in any of the sources

gitlab一款开源的代码版本控制软件，仿github。安装过程中遇到一个问题，纠结了一上午，最终终于搞定了，分享一下：在安装deployment时： sudo -u git -H bundle install --deployment --without development test postgres报错： C

gitlab

原创 2014-04-30 15:27:44 5597 阅读

硬盘IOPS

首先解释一下IOPS的概念：IOPS： IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的 I/O请求数量为单位，I/O请求通常为读或写数据操作请求。随机读写频繁的应用，如OLTP(Online Transaction Processing)，I

IOPS

原创 2014-04-04 16:48:20 951 阅读

Centos6.2 安装Python2.7.x 版本

Centos6.2 默认的Python版本是2.6.6。由于项目需要，需要使用Fabric,习惯使用pip安装软件的我，自然会选择pip install fabric进行安装。但安装完成之后的fabric 由于缺少module，所以不能使用。之前用的是python 2.7是没有这个问题的，所有为了项目的进度，没有进行查询到底缺少哪个包。决定再安装一个Python2.7版

Centos6.2 install py

原创 2014-03-27 15:49:16 1166 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

David