rfyiamcool的博客_Mysql,Oracle,数据库,Linux,Nginx,shell,虚拟化,web相关,CDN缓存,负载均衡

运维平台化之IDC机柜拓扑及数据展现实现思路

前言：如今大点的公司，都会有个类似机房的机柜摆放图的系统，可能有太多兄弟的公司没有这样的东西，如果想开发咋办？又想开发出一套自动生成的咋办？跟着我简单的开发出一套吧～有问题，大家mail我～无难度，只是简单介绍下，该运维平台用到的一些流程处理和自动

idc拓扑开发

idc信息数据

saltstack api

机房拓扑

原创推荐 2013-12-29 15:14:44 10000+阅读 15点赞 16评论

利用saltstack的api接口和modules实现实时监控

前言：其实一说起实时监控，我就有很多的感想 ~ 以前也做过几个类似的全网流量监控的项目，用过websocket的模式的，还有就是redis pubsub模式，还有就是从同事的nagios获取流量数据（这个结果很郁闷，nagios加了Ndoutils插件后可以把数据存入到mysql里面，当时水平不到位，获取的数据有断链，原因不明）。这些方法也都

saltstack modules

saltstack api

saltstack api接口

原创推荐 2013-12-27 08:23:02 10000+阅读 13点赞 14评论

python实现select和epoll模型socket网络编程

这里简单搞搞select和eopll的接口开发 ~select目前几乎在所有的平台上支持，其良好跨平台支持也是它的一个优点，事实上从现在看来，这也是它所剩不多的优点之一，现在其实更多的人用epoll，在python下epoll文档有点少，就先讲究搞搞select ～select的一个缺点在于单个进程能够监视的文件描述符的数量存在最大限制，在Linux上一般为1024，不过可以通过修改宏定义甚至重新

python select

python 网络编程

python epoll

epoll 多线程

原创推荐 2013-12-25 17:39:48 9214 阅读 8点赞 13评论

python调用mrjob实现hadoop的mapreduce日志解析

咱们一般写mapreduce是通过java和streaming来写的，身为pythoner的我，java不会，没办法就用streaming来写mapreduce日志分析。这里要介绍一个模块，是基于streaming搞的东西。mrjob 可以让用 Python 来编写 MapReduce 运算，并在多个不同平台上运行，你可以：使用纯 Python 编写多步的 MapReduce 作业在本机上进行测

python mapreduce

mrjob

python mrjob

python streaming

原创 2013-12-24 14:02:28 4631 阅读 6点赞 6评论

利用pypy提高python脚本的执行速度及测试性能

啥是pypy简单地说, PyPy 是用 Python 语言写了一个工具, 将 Python 代码成 C, .NET, Java 等语言和平台的代码. PHP 也有类似的项目 – HipHop-PHP, 把 PHP 代码转成 C++ 代码.为什么要将一种语言转成另一种语言? 首先是目标语言可能在性能(如C语言)和/或跨平台(如 .NET, Java)等方面具有优势. 其次, 在转换的过程, 可以进行

python pypy

pypy cpython

pypy 性能

原创推荐 2013-12-23 11:25:40 8014 阅读 6点赞 10评论

服务端socket开发之多线程和gevent框架并发测试[python语言]

请多关注下我的个人博客，blog.xiaorui.cc测试下多线程和gevent在socket服务端的小包表现能力，测试的方法不太严谨，有点属于自娱自乐，要是有问题之处，请大家喷之！每个连接都特意堵塞了0.5秒钟！在大批量tcp测试下，threading的开销越来越大，所以造成了在并发数加大的情况下，出现threading崩溃的情况！ gevent是 libevent和协程的融合

gevent threading

gevent socket

socket threading

原创推荐 2013-12-19 01:31:53 7178 阅读 6点赞 8评论

报警监控平台扩展功能url回调的设计及应用[python语言]

前言：这个国内也有一些第三方的厂商在用，比如dnspod的url回调和监控宝的url回调！有人开源了一个脚本，监控宝的url回调，可以联合dnspod的api接口。可以处理当ip-A的web死掉的时候，dns记录切换到ip-B上。当然这只是个小应用罢了，但不能不说，这个想法确实不错。

python 平台化

python 监控系统

python 监控开发

监控报警平台

原创推荐 2013-12-16 01:48:35 2143 阅读 11点赞 14评论

使用python构建基于hadoop的mapreduce日志分析平台

流量比较大的日志要是直接写入Hadoop对Namenode负载过大，所以入库前合并，可以把各个节点的日志凑并成一个文件写入HDFS。根据情况定期合成，写入到hdfs里面。咱们看看日志的大小，200G的dns日志文件，我压缩到了18G，要是用awk perl当然也可以，但是处理速度肯定没有分布式那样的给力。Hadoop Streaming原理mapper和reducer会从标准输入中读取用户数据，

python mapreduce

python hadoop

python hadoop mapred

原创推荐 2013-12-12 23:51:47 10000+阅读 7点赞 11评论

对于复杂流程确认的运维自动化方案的理解与探讨

前言：最近开始值班了，半夜三更处理一些个小问题，自己感觉是小事，但是对于边缘节点业务线来说可能是天大的事。在想，其实这些个东西，完全可以做成自动化的东西。但是这个时候就出现了走流程和承担责任的问题了 ~ 大家懂的~ 其实对于快速运维方案来说，容易卡壳的地方，肯定会有走流程，确认流程 ~ 其实有些时候，咱们可以下放些权利，让普通管理员有少许控制权！我就

python 运维自动化

运维平台化

python 接口

gevent

运维流程

原创推荐 2013-12-11 00:50:45 2254 阅读 11点赞 16评论

基于gevent和pymysql实现mysql读写的异步非堵塞方案

咱们经常使用的mysql库，MySQL-Python库是用C写的，很遗憾它是阻塞的，要实现异步的MySQL驱动必须用Python版本的MySQL驱动！现在社区里面有两个纯python实现的mysql驱动。一个是 myconnpy 另一个是PyMysql ~ 这两个mysql驱动文档相当的少呀，好在他们的用法和MySQldb相当的像，不然就要头疼的看代码了。。。实现的方式是用sock

python gevent

python pymysql

python 堵塞

mysqldb pymysql

原创推荐 2013-12-08 23:09:54 10000+阅读 13点赞 20评论

密集负载下的网卡中断负载均衡smp affinity及单队列RPS

简单的说就是，每个硬件设备（如：硬盘、网卡等）都需要和 CPU 有某种形式的通信以便 CPU 及时知道发生了什么事情，这样 CPU 可能就会放下手中的事情去处理应急事件，硬件设备主动打扰 CPU 的现象就是硬件中断。关于SMP IRQ affinity？新的内核, Linux改进了分配特定中断到指定的处理器(或处理器组)的功能. 这被称为SMP IRQ affinity, 它可以控制系统如何响应各

linux 网卡调优

linux rps

linux irqbalance

smp affinity

RPS RFS

原创推荐 2013-12-04 08:52:21 10000+阅读 8点赞 8评论

python之利用PIL库实现页面的图片验证码及缩略图

前言：在域用户平台里面集成了一个信使的功能，但是怕别人无脑的乱发，又怕别人乱调用接口，加了一个图片验证码的功能~ 实现起来比较简单，用python的PIL库就可以实现了。yum install -y libjpeg-devel yum install freetype-*安装pil库 ~能不能用，要看下面是否支持jp

python pil

python 验证码

python image

python 图片

原创推荐 2013-12-01 16:19:22 4440 阅读 9点赞 11评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	软考资讯	汽车开发者社区

51CTO博客

峰云，就她了。