rfyiamcool的博客_Mysql,Oracle,数据库,Linux,Nginx,shell,虚拟化,web相关,CDN缓存,负载均衡(5)

用Saltstack的returners实现批量监控和数据存储

没有saltstack基础的朋友看下我以前的教程 saltstack 入门教程。。。。嘿嘿大家很多时候都用cmd.run跑命令，查看结果，然后根据返回的dd，做点其他的东西。比如把结果插入数据库，我们可以在页面中，看到他的执行的结果，状态，jobid等等。。。[xiaorui.cc]关于监控，虽然zabbix的监控做的挺不错的，他的接口也很完全，我用过这个写过批量增加和批量删除的接口，挺不错的。然

saltsatck returners

saltstack 监控

saltstack 入门

saltstack 返回

原创推荐 2013-08-05 12:27:52 10000+阅读 5点赞 7评论

集群管理系统 Saltstack的资源配置及性能测试

SaltStack是继 Puppet、Chef 之后新出现的配置管理及远程执行工具，目前，SaltStack 正得到越来越多的瞩目。与 Puppet 相比，SaltStack 没有那么笨重，感觉较为轻量；不像 Puppet 有一套自己的 DSL 用来写配置，SaltStack 使用 YAML 作为配置文件格式，写起来既简单又容易，同时也便于动态生成；此外，SaltStack 在远程执行命令

saltstack

saltstack基础

saltstack入门

saltsstack高可用

saltstack 集群

原创推荐 2013-08-02 00:27:58 10000+阅读 18点赞 3收藏 15评论

使用python来访问Hadoop HDFS存储实现文件的操作

在调试环境下，咱们用hadoop提供的shell接口测试增加删除查看，但是不利于复杂的逻辑编程查看文件内容www.xiaorui.cc用python访问hdfs是个很头疼的事情。。。。这个是pyhdfs的库import pyhdfs fs = pyhdfs.connect("192.168.1.1", 9000) pyhdfs.get(fs, "/rui/111", "/var/111") f =

python hadoop接口

python hdfs

python hadoop

pyhdfs

原创 2013-07-26 19:38:16 10000+阅读 5点赞 4评论

基于zeromq的高性能分布式RPC框架Zerorpc 性能测试

Zeromq 是基于zeromq、gevent和 msgpack开发的分布式RPC框架zerorpc-python。这个框架简单、易用。1. 安装zeromqyum -y install zeromq yum install gcc gcc-c++ libuuid-devel python-uuid uuid wget http://download.zeromq.org/zeromq-2.1.9

zeromq

python zeromq

python rpc

zerorpc

原创推荐 2013-07-21 23:11:40 10000+阅读 7点赞 1收藏 5评论

生产环境中 Ngx_lua 使用技巧和应用的范例

Lua的性能超牛的，这个不需要再啰嗦了。。。Nginx_lua的适用场景网络I/O 阻塞时间远高于CPU 计算占用时间、同时上游资源非瓶颈（可伸缩）的网络应用，如高性能网络中间层、HTTP REST 接口服务等；期望简化系统架构，让服务向Nginx 同质化的Web 站点；优势：同步非阻塞I/O 形式直观易懂，并发服务能力强CPU、内存运行开销低同Nginx 结合度高，可方便粘合现有Nginx 模块

nginx lua

ngx_lua

lua 接口

lua cookie

lua mysql

原创推荐 2013-07-19 11:35:00 6303 阅读 4点赞 5评论

通过Lua解释器来扩展丰富nginx功能，实现复杂业务的处理

nginx lua

nginx lua post

nginx lua mysql

nginx lua api

原创推荐 2013-07-14 23:29:13 8809 阅读 2点赞 10评论

分布式任务分发框架Gearman测试、性能监控、队列持久化【python 实例】

Gearman提供了一种通用的程序框架来将你的任务分发到不同的机器或者不同的进程当中。它提供了你进行并行工作的能力、负载均衡处理的能力，以及在不同程序语言之间沟通的能力。Gearman能够应用的领域非常广泛，从高可用的网站到数据库的复制任务。总之，Gearman就是负责分发处理的中枢系统，它的优点包括：开源：Gearman免费并且开源而且有一个非常活跃的开源社区，如果你想来做一些贡献，请点击。多

python gearman

gearman rabbitmq

gearman 优化

gearman 测试

原创 2013-07-09 15:34:03 10000+阅读 4点赞 2评论

Nginx嵌入Lua语言实现redis的高性能http接口

redis没有直接提供一个http的接口，要是用php，python，当然也是可以实现的。性能的比较的话，lua的能力要比php强的不少。。。网上有很多的性能的比较，我也做过几次的压力测试，lua的性能确实很强。。。。安装nginx，以及lua环境git clone https://github.com/simpl/ngx_devel_kit.git git clone https://githu

nginx lua redis

lua redis

openstry redis

nginx redis

原创 2013-07-07 18:24:21 6174 阅读 2点赞 4评论

tornado和subprocess实现程序的非堵塞异步处理

tornado 是由Facebook开源的一个服务器“套装",适合于做python的web或者使用其本身提供的可扩展的功能，完成了不完整的wsgi协议，可用于做快速的web开发，封装了epoll性能较好。文章主要以分析tornado的网络部分即异步事件处理与上层的IOstream类提供的异步IO，其他的模块如web的tornado.web 以后慢慢留作分析。源

tornado

tornado 异步

tornado subprocess

tornado epoll

原创 2013-06-30 23:53:38 3794 阅读 4点赞 5评论

多套方案来提高python web框架的并发处理能力

Python常见部署方法有：fcgi ：用spawn-fcgi或者框架自带的工具对各个project分别生成监听进程，然后和http 服务互动 wsgi ：利用http服务的mod_wsgi模块来跑各个project(Web应用程序或框架简单而通用的Web服务器之间的接口)。 uWSGI 是一款像php-cgi一样监听同一端口，进行统一管理和负载平衡的工具，uWSGI，既不用wsgi协议也

python nginx uwsgi

python gevent

python zerorpc

python zeromq

python高性能框架

原创推荐 2013-06-23 01:07:07 8432 阅读 2点赞 2评论

商业级全局负载均衡器 zeus.ZXTM 实施方案

网址：http://www.zeus.com/products/traffic-manager1. 什么是ZXTM：总是在说ZXTM，什么是ZXTM呢？其实它是Zeus Technology（官网www.zeus.com）的产品Zeus Traffic Manager以前的称呼，是一个基于J2EE运行，为一些网络服务（比如web server，邮件服务器等）应用提供复杂的负载均衡商业软件。2. 为

zeus

zeus 集群

zeus cdn

zeus rule

python ha

原创推荐 2013-06-15 08:37:53 6424 阅读 9点赞 17评论

图表highcharts联合jquery ajax 后端取数据前端图表渲染

Highcharts是一个制作图表的纯Javascript类库，主要特性如下：兼容性：兼容当今所有的浏览器，包括iPhone、IE和火狐等等；对个人用户完全免费；纯JS，无BS；支持大部分的图表类型：直线图，曲线图、区域图、区域曲线图、柱状图、饼装图、散布图；跨语言：不管是PHP、Asp.net还是Java都可以使用，它只需要三个文件：一个是Highcharts的核心文件highcharts.js

highcharts

python highchart

python ajax

python 画图

原创推荐 2013-06-13 13:44:30 10000+阅读 9点赞 9评论

MongoDB基于GridFS实现文件的分布式存储

GridFS是一种在MongoDB中存储大二进制文件的机制。使用GridFS存文件有如下几个原因：利用Grid可以简化需求。要是已经用了MongoDB，GridFS就可以不需要使用独立文件存储架构。GridFS会直接利用业已建立的复制或分片机制，所以对于文件存储来说故障恢复和扩展都很容易。GridFS可以避免用于存储用户上传内容的文件系统出现的某些问题。例如，GridFS在同一个目录下放置大量的

mongodb

原创 2013-06-10 09:43:33 10000+阅读 1点赞 1收藏

LVS在大流量下基于OSPF的负载均衡实施方案

随着开源技术的发展，以及商业设备价格的不断攀升。大公司总是希望能使用开源的方案来替换过去使用的商业设备。比如之前大家用的很多的F5和A10,现在已经在逐步被LVS替换。传统的单个lvs的性能是比不上商业设备的，而且稳定性等也相对会差些。告诉大家很多大公司都在用这些技术的。基本思路就是把多个LVS组成一个OSPF集群，这样可以使得LVS集群的性能可以远远超过单个传统的商业设备（当然，对于F5等等其实

lvs ospf

lvs 网络层

ospf 负载均衡

linux ospf

原创推荐 2013-06-07 05:06:34 10000+阅读 12点赞 17评论

自动化运维之 Kerberos 账号信息管理平台

公司的自动化项目之一公司的服务器超多，需要一个用来管理服务器权限的系统。主要是实现用一个账号，可以让你登录所有的服务器，也可以让你身无无分文。就是这样的一个操作的平台。5-25 数据库的展现已经做完~ 下一步把最多ip和账号给显示出来加载了 chosen 引起了右下角的点击关闭把他的js去掉就行了改变了

python 运维自动化

kerberos 管理

python 堡垒机

跳板机

原创 2013-05-26 00:10:32 6414 阅读 7点赞 12评论

异步消息队列zeromq实现服务器间高性能通信

ZeroMQ 是一个很有个性的项目，它原来是定位为“史上最快消息队列”，所以名字里面有“MQ”两个字母，但是后来逐渐演变发展，慢慢淡化了消息队列的身影，改称为消息内核，或者消息层了。从网络通信的角度看，它处于会话层之上，应用层之下，有了它，你甚至不需要自己写一行的socket函数调用就能完成复杂的网络通信工作。服务端：import zeromq import console; var conte

python zeromq

saltstack zeromq

zeromq saltstack

python 高性能通信

原创 2013-05-22 22:52:05 10000+阅读 2点赞 5评论

利用XMPP协议推送服务器告警信息到安卓平台及桌面

XMPP的前身是Jabber，一个开源形式组织产生的网络即时通信协议。XMPP目前被IETF国际标准组织完成了标准化工作。标准化的核心结果分为两部分；核心的XML流传输协议基于XML流传输的即时通讯扩展应用XMPP的核心XML流传输协议的定义使得XMPP能够在一个比以往网络通信协议更规范的平台上。借助于XML易于解析和阅读的特性，使得XMPP的协议能够非常漂亮。XMPP的即时通讯扩展应用部分是根据

python xmpp

xmpp 运维

xmpp 搭建

原创 2013-05-19 19:46:26 2177 阅读 1点赞 2评论

使用Python的twisted和socket模块实现端口的负载分发

很简单的需求，自己写个类似iptables那样的dnat端口转发，简单实现像lvs那样的nat模式的端口的负载分发，当然性能堪忧哈~这个例子是监听本地ip的9999端口，然后映射到另一个端口上，也可以利用random参数，进行多个端口的轮训，当然他的算法和性能简单，不能和lvs 相比了。映射的版本：执行方法：python th.py 8888 10.10.10.63 80#!/usr/bin/

gevent socket

python socket并发

pyhton socket测试

python twisted

原创 2013-05-19 11:04:47 10000+阅读 3点赞 6评论

python获取linux系统信息、性能阀值、短信网关发送的例子

这是以前写过的监控平台所用的系统信息收集的模块~~~~大家可以当成模块引入到自己的脚本上。获取系统信息的模块利用psutil可以得到系统的各种性能指标#-*- encoding: utf-8 -*- import psutil class PSU(object): """使用psutil检查服务器系统进程""" def __init__(self): """初始化""" self.wa

python

原创 2013-05-17 15:08:40 2975 阅读 3点赞 1收藏

使用Python CGI实现服务器展现数据的API接口

CGI脚本简单地讲是个运行在Web服务器上的程序, 有浏览器的输入触发. 这个脚本通常象服务器和系统中其他程序如数据库的桥梁。CGI 脚本难道不是一个真正的脚本?按照你的服务器的支持, 他们可能是一个编译好的程序或者批命令文件或者其他可执行的东西. 为了简单起见，我们统称他们为脚本scripts. 一个URL指向一个CGI脚本. 一个CGI脚本的URL能如普通的URL一样在任何地方出现

python cgi

python cgi 接口

python cgi get

python cgi post

原创 2013-05-09 00:24:54 5131 阅读 4点赞 3评论

管理Mongodb 集群所用到的系统管理及监控

先说下主从随着数据量的增多单台mongodb服务器已经满足不了现状，所以用到了主从集群主从复制是最mongodb最常用的复制方式，他最大的特点是备份，对于读易扩展，降低服务器的压力！ MongoDB支持在多个机器中通过异步复制到底故障转移和实现冗余,多台机器中同一时刻只有一台是用于写操作,这为mongoDB提供了数据一致性的保障.担当Pri

运维mongodb

原创 2013-05-05 23:36:05 4513 阅读 1点赞 1评论

通过shell和redis来实现集群业务中日志的实时收集分析

在统计项目中，最难实施的就是日志数据的收集。日志分布在全国各个机房，而且数据量比较大，像rsync+inotify这种方式显然不能满足快速日志同步的要求。当然大家也可以用fluentd和flume采集日志数据，除了这个我们也可以自己写一套简单的。我写的这个日志分析系统流程是： 1 在客户端收集数据，然后通过redis&

shell

redis

日志采集系统

原创推荐 2013-05-03 00:03:43 4633 阅读 5点赞 7评论

通过Redis的Pub/Sub实现对服务器群的监控管理

需求：为了准确监控每个服务器的内部状态，而且也不影响现有业务逻辑的情况，需要快速部署一个简单的服务器集中监控系统。经过考虑，可以使用Redis的Pub/Sub功能来实现一个监控系统是非常好合适的。当然我们也可以通这个来做批量的管理。Pub/Sub 从字面上理解就是发布（Publish）与订阅（Subscribe），在Redis中，你可以设定对某一个key值进行消息发布及消息订阅，当一个key值

redis 监控系统

redis pubsub

shell redis

saltstack redis

原创 2013-05-01 10:52:51 6309 阅读 4点赞 6评论

用graphite把收集到的数据渲染成图片

在这里我先讲解下他和cacti nagios的区别~ 还有我们为什么要用他~cacti 是通过snmp来进行抓数据，当然后期可以通过snmp进行exec调取脚本中的数据nagios是用来监控服务器的各种的状态，当然通过pnp也可以实现画图但是我为什么要用graphite，其实他就一个功能，把收到的数据展现到页面上~ 就这一个功能，我感觉就够用了~ 需求：脚本的执

python graphite

graphite 监控

centos graphite

graphite性能

原创推荐 2013-04-23 00:15:10 3505 阅读 8点赞 11评论

利用nginx和mongrel、unicorn 对puppet进行端口负载均衡

公司的虚拟化平台上的主机，用的是puppet进行管理，但是单个puppet有很大的瓶颈的问题~ puppetmaster默认使用的是ruby自带的web服务器WEBRick，它太过简陋，无法满足puppet客户端成百上千的并发性能很不好。ruby又是一种解析型语言，性能肯定不会非常好；这样呢，我们也不能用高性能的语言把他重写了去，但我们可以在部分地方动手脚来进行性能优化我的思路是结合反向代理，p

puppet

puppet 负载

saltstack puppet

puppet salt

puppet 性能测试

原创 2013-04-02 22:40:12 1831 阅读 6点赞 9评论

关于一些nginx的高级扩展应用

nginx.conf 配置解释详解user www www; 定义 Nginx 运行的用户及组 worker_processes 8; #[ debug | info | notice | warn |&n

nginx高级

原创推荐 2013-03-31 12:42:01 3036 阅读 8点赞 5评论

采用python的pyquery引擎做网页爬虫，进行数据分析

python下的 pyquery 很给力的！！！pyquery 可以让你用jquery语法来对xml进行查询。这个API和jquery十分类似。如果利用lxml，pyquery对xml和html的操作将更加快速。这个库并不是（至少还不是）一个可以和javascript互交的代码库。只是很喜欢jquery API并且在使用python的过程中，我真的很怀念jquery，所以

python 爬虫

python pyquery

pyquery

原创 2013-02-07 00:52:22 4703 阅读 1点赞 2评论

针对Redis队列的理解，实例操作

文章已经转到 http://xiaorui.cc 个人博客里，欢迎浏览 !!!交流Python & Golang 可以加群 278517979 .

redis

python 队列

python redis

高性能redis

原创 2013-02-02 21:44:26 3834 阅读 1点赞

基于python的一个运维自动化的项目(进度更新)【已开源】

文章已经转到 http://xiaorui.cc 个人博客里，欢迎浏览 !!!交流Python & Golang 可以加群 278517979 .

运维自动化

python 运维自动化

python saltstack

python bootstrap

集群管理 python

原创推荐 2013-01-19 22:04:53 10000+阅读 48点赞 1收藏 51评论

python守候进程之用supervisord来控制进程

文章已经转到 http://xiaorui.cc 个人博客里，欢迎浏览 !!!交流Python & Golang 可以加群 278517979 .

supervisord

python supervisord

原创 2013-01-04 11:02:14 2229 阅读 3评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	软考资讯	汽车开发者社区

51CTO博客

峰云，就她了。

用Saltstack的returners实现批量监控和数据存储

集群管理系统 Saltstack的资源配置及性能测试

使用python来访问Hadoop HDFS存储实现文件的操作

基于zeromq的高性能分布式RPC框架Zerorpc 性能测试

生产环境中 Ngx_lua 使用技巧和应用的范例

通过Lua解释器来扩展丰富nginx功能，实现复杂业务的处理

分布式任务分发框架Gearman测试、性能监控、队列持久化【python 实例】

Nginx嵌入Lua语言实现redis的高性能http接口

tornado和subprocess实现程序的非堵塞异步处理

多套方案来提高python web框架的并发处理能力

商业级全局负载均衡器 zeus.ZXTM 实施方案

图表highcharts联合jquery ajax 后端取数据前端图表渲染

MongoDB基于GridFS实现文件的分布式存储

LVS在大流量下基于OSPF的负载均衡实施方案

自动化运维之 Kerberos 账号信息管理平台

异步消息队列zeromq实现服务器间高性能通信

利用XMPP协议推送服务器告警信息到安卓平台及桌面

使用Python的twisted和socket模块实现端口的负载分发

python获取linux系统信息、性能阀值、短信网关发送的例子

使用Python CGI实现服务器展现数据的API接口

管理Mongodb 集群所用到的系统管理及监控

通过shell和redis来实现集群业务中日志的实时收集分析

通过Redis的Pub/Sub实现对服务器群的监控管理

用graphite把收集到的数据渲染成图片

利用nginx和mongrel、unicorn 对puppet进行端口负载均衡

关于一些nginx的高级扩展应用

采用python的pyquery引擎做网页爬虫，进行数据分析

针对Redis队列的理解，实例操作

基于python的一个运维自动化的项目(进度更新)【已开源】

python守候进程之用supervisord来控制进程