51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号

借用subprocess和gevent、multiprocessing解决saltstack超时不准的问题

       新版的saltstack真是个坑！  前段时间为了做测试，直接从openstack那边搞了几台服务器，接入运维平台开始部署客户端minion的环境，直接yum的saltstack，当时也没有注意，就直接跑lvs的增删改查测试。  当天没出啥问题，今天再测试的时候，感觉前端总是拿不到数据，扯了半天，发现saltstack的超

saltstack timeout
saltstack bug
saltstack 超时
saltstack gevent
原创 推荐 2014-03-16 07:56:25 3962 阅读 6点赞 7评论

构建故障分析平台采用python实现抓包分析数据包

前言：         同事今天和我说，他现在的任务在做一个头疼的问题，说时尚了点，就是用自动化解脱心碎的运维杂事，他这边刚入职，貌似是带领一帮小弟解决别人搞不定的问题，但是有些业务部够单纯，把事直接抛给我同事这边。。。 很无敌吧。所以计划做一个自动化平台，可以去问题端去抓数据，然后分析数据包，入库，邮件通知。   这个是自动化完成的。我这里就说下

python分析数据包
python 抓包
python dpkt
python tcpdump
原创 推荐 2014-03-12 23:32:20 10000+阅读 16点赞 1收藏 14评论

运维资产管理系统cmdb对实施自动化运维的重要性

前言：在新公司负责全网的自动化运维平台及给各个业务线提供接口数据。这工作和以前做的很类似，也算是比较顺手的工作，这段时候遇见一些问题，导致开发的前进速度的放慢了，具体有哪些的不完善，我这里就先不摆出了，但是会把我遇到的问题的根源，放大炮似的描述下。        先不吐槽，先表扬下新公司的资产系统还算可以的，比不少公司的资产管理也都要强大，只是我人比较刺，事

cmdb
运维资产系统
开发 cmdb
python 资产系统
原创 推荐 2014-03-09 03:15:20 10000+阅读 23点赞 2收藏 30评论

结合saltstack打造mysql dba数据库运维平台化salt-api接口

前言：         这些日子两个项目齐头并进，按部就班的走，对于saltstack在开发中的经验，越发的丰富。        希望这个mysql自动化运维项目能让自己更加dba。。。 和dba这帮人混了半个月，碉堡了，数据在他们手里玩得很转悠 ~ 要实现的功能：全网mysql的复制情况监控！  对于主从复

saltstack mysql
salt-api
数据库运维平台
mysql运维自动化
原创 2014-03-06 14:42:25 4923 阅读 7点赞 8评论

配置gitlab环境实现代码管理及Web Hook测试和ldap认证

前沿：         对于代码库感触有点多，用过redmine（差点忘了名字），还有就是gitweb，最后就是gitlab  。 gitlab是我用的很舒服的东西，在2012就接触了，当时开发水平见不得人，主要上传的还是常用安装配置脚本、简单的cs端，及ganglia插件之类的。 在以前的以前的公司，我也负责维护过gitlab，但是那边的很多需求

gitlab https
ubuntu gitlab
gitlab web hook
gitlab ldap
原创 推荐 2014-03-01 16:11:58 10000+阅读 9点赞 13评论

python调用sendcloud接口实现邮件批量发送收取及url回调

前言：今天和朋友聊起了邮件的发送，他那边有个业务是定期给大量的用户发新事物邮件，经常会有被拒的情况，还有就是他们的报警有点多，搞得exchange时常有压力，现在这哥们正琢磨着要搞邮件集群，我觉得没必要这么纠结，咱们可以利用第三方的邮件api。国外有mailgun，国内有个sohu的sendcloud，这东西好多公司再用，比如youku，letv，安全宝、csdn等。。。sendcloud不是简单

python sendcloud
python 回调
python 收邮件
sendcloud
原创 推荐 2014-02-27 23:50:04 6355 阅读 11点赞 10评论

saltstack的rest接口salt-api开发使用指南

前言：    saltsatck本身就提供了一套算完整的api，专业说法 sdk。 saltstack 的webui hahite就是用cherrypy框架和salt接口组成的。 salt-api 简单配置下安装：yum -y install salt-api配置：[root@65 ~]# tail -n 10 /etc/salt/master # - '*'

saltstack api
salt-api
saltstack 接口
原创 推荐 2014-02-25 01:04:11 10000+阅读 9点赞 6评论

自动化运维平台中的统一认证接入与单点登录实现

前言：        在运维开发的众多系统中，怎么能更好的管理用户账号和密码，以及做到统一的brac权限角色配置系统。      以前记得最初做运维开发项目的时候，每个app都是一套用户密码，顶多做了一个加密流转，申请接入的时候，需要领导的邮件审批，后期改成ldap在openldap做认证了。 但是现在不这么

python oauth2
python 统一认证
自动化运维平台
原创 推荐 2014-02-23 22:24:54 10000+阅读 17点赞 22评论

用saltstack cp模块实现文件管理、拉取和回滚下发

前沿：最近搞集群配置系统，正在搞配置文件的备份，中心点上传，文件hash记录，配置文件的下发回滚。 这里要用到saltstack cp模块，来实现对 master minion文件的传输及管理。        这里说下，我主要的实现方式，文件备份是通过自写的模块备份，然后调用cp.push来拉取到master备份。下发回滚的话，用的额是get_file的方式

saltstack
saltstack cp
salt-cp
saltstack 文件
原创 推荐 2014-02-19 14:22:11 10000+阅读 13点赞 1收藏 16评论

Python通过amqp消息队列协议中的Qpid实现数据通信

简介：     这两天看了消息队列通信，打算在配置平台上应用起来。以前用过zeromq但是这东西太快了，还有就是rabbitmq有点大，新浪的朋友推荐了qpid，简单轻便。自己总结了下文档，大家可以瞅瞅。AMQP（消息队列协议Advanced Message Queuing Protocol）是一种消息协议 ，等同于JMS，但是JMS只是java平台的方案，AMQP是一个跨语言

amqp
python amqp
python 消息队列
zeromq rabbitmq
原创 推荐 2014-02-16 23:12:24 4724 阅读 5点赞 10评论

关于python调用zabbix api接口的自动化实例 [结合saltstack]

前言：    这两天一直做一个叫集群配置管理平台的自动化项目，写了有20多天了，项目做的还算顺利，只是一堆的接口需要写，有点烦。因为clusterops项目到最后肯定是要和监控平台做结合的，这两天也抽时间看了下。   以前自己也写过不少类似zabbix的接口调用教程，当时看的时候，由于时间有限，也都是草草跑demo。请大家多关注下我的独立博客，更多的关于zabbix二

zabbix api
python zabbix
zabbix二次开发
salstack zabbix
原创 推荐 2014-02-13 15:19:46 10000+阅读 10点赞 1收藏 13评论

Parallel Python实现程序的并行多cpu多核利用【pp模块】

文章已经转到 http://xiaorui.cc  个人博客里，欢迎浏览 !!!交流Python & Golang 可以加群 278517979  . 

Parallel Python
python 多核
python 多cpu
python smp
原创 推荐 2014-02-07 17:19:19 10000+阅读 10点赞 9评论

基于ssh的集群运维工具ansible api的使用[类saltstack]

对于saltstack的人来说，Ansible是一款很好的基于ssh方案的，替代品，他能够大大简化Unix管理员的自动化配置管理与流程控制方式。它利用推送方式对客户系统加以配置，这样所有工作都可在主服务器端完成。

ansible
ansible api
ansible playbook
ansible saltstack
原创 推荐 2014-01-22 09:55:19 10000+阅读 18点赞 1收藏 15评论

运维平台化saltstack和jinja2模板构建高可用集群配置平台

前言：     最近正在做一个集群配置平台，以前也做过类似的demo，记得是去年做的时候用的是paramiko模块，先说他的连接配置是用ssh，交互也有时用pexpect。在复杂的配置下会经常出问题的。 配置主要是出在正则匹配的方面。    现在到了新公司，第一件是就是重构代码，目的是做成一个全网集群的配置工具，支持nginx、lvs、haproxy多种集

saltstack lvs
saltstack nginx
saltstack haproxy
saltstack jinja2
原创 推荐 2014-01-12 23:16:28 10000+阅读 22点赞 26评论

通过redis扩展分布式存储fastdfs的数据对应及方案

前言：    周天被朋友拖住了，他说最近要实现一个文件分享的网站，一个是图片，一个是特定的文件，比如压缩包、pdf这类的。 他是做idc的，手里的资源还是不少的， 想通过文件分享网站来导入点所谓的流量。哥年轻时跟他搞过一个php的淘宝图片站，结果有个卖衣服的站点，流量很大，成本太高了，再说也没钱再次投入了，也就放弃 ~   没赚多少钱，倒是赔给那几个淘宝卖家100多块

python fastdfs
fastdfs redis
fastdfs 文件名
nginx fastdfs
原创 推荐 2014-01-06 02:28:07 10000+阅读 8点赞 8评论

基于leveldb引擎的高性能Nosql服务ssdb的测试使用

前言：SSDB是一个开源的高性能数据库服务器, 使用Google 的 LevelDB作为存储引擎, 大家有可能没听过leveldb的名字，但是淘宝的开源nosql tair大家应该有所耳闻吧，他也是基于leveldb做的开发。ssdb支持T级别的数据, 同时支持类似Redis中的zset和hash等数据结构, 在同时需求高性能和大数据的条件下, 是一个可以代替Redis的方案.其实ssdb他的推出

python ssdb
nosql ssdb
ssdb redis
leveldb ssdb
原创 推荐 2014-01-05 00:49:14 10000+阅读 7点赞 9评论

运维平台化之IDC机柜拓扑及数据展现实现思路

前言：        如今大点的公司，都会有个类似机房的机柜摆放图的系统，可能有太多兄弟的公司没有这样的东西，如果想开发咋办？   又想开发出一套自动生成的咋办？  跟着我简单的开发出一套吧 ～   有问题，大家mail我 ～       无难度，只是简单介绍下，该运维平台用到的一些流程处理和自动

idc拓扑开发
idc信息数据
saltstack api
机房拓扑
原创 推荐 2013-12-29 15:14:44 10000+阅读 15点赞 16评论

利用saltstack的api接口和modules实现实时监控

前言：      其实一说起实时监控，我就有很多的感想 ~  以前也做过几个类似的全网流量监控的项目，用过websocket的模式的，还有就是redis pubsub模式，还有就是从同事的nagios获取流量数据（这个结果很郁闷，nagios加了Ndoutils插件后可以把数据存入到mysql里面，当时水平不到位，获取的数据有断链，原因不明）。 这些方法也都

saltstack modules
saltstack api
saltstack api接口
原创 推荐 2013-12-27 08:23:02 10000+阅读 13点赞 14评论

python实现select和epoll模型socket网络编程

这里简单搞搞select和eopll的接口开发 ~select目前几乎在所有的平台上支持，其良好跨平台支持也是它的一个优点，事实上从现在看来，这也是它所剩不多的优点之一，现在其实更多的人用epoll，在python下epoll文档有点少，就先讲究搞搞select ～select的一个缺点在于单个进程能够监视的文件描述符的数量存在最大限制，在Linux上一般为1024，不过可以通过修改宏定义甚至重新

python select
python 网络编程
python epoll
epoll 多线程
原创 推荐 2013-12-25 17:39:48 9214 阅读 8点赞 13评论

python调用mrjob实现hadoop的mapreduce日志解析

咱们一般写mapreduce是通过java和streaming来写的，身为pythoner的我，java不会，没办法就用streaming来写mapreduce日志分析。 这里要介绍一个模块，是基于streaming搞的东西。mrjob 可以让用 Python 来编写 MapReduce 运算，并在多个不同平台上运行，你可以：使用纯 Python 编写多步的 MapReduce 作业在本机上进行测

python mapreduce
mrjob
python mrjob
python streaming
原创 2013-12-24 14:02:28 4631 阅读 6点赞 6评论

利用pypy提高python脚本的执行速度及测试性能

啥是pypy简单地说, PyPy 是用 Python 语言写了一个工具, 将 Python 代码成 C, .NET, Java 等语言和平台的代码. PHP 也有类似的项目 – HipHop-PHP, 把 PHP 代码转成 C++ 代码.为什么要将一种语言转成另一种语言? 首先是目标语言可能在性能(如C语言)和/或跨平台(如 .NET, Java)等方面具有优势. 其次, 在转换的过程, 可以进行

python pypy
pypy cpython
pypy 性能
原创 推荐 2013-12-23 11:25:40 8014 阅读 6点赞 10评论

服务端socket开发之多线程和gevent框架并发测试[python语言]

请多关注下我的个人博客，blog.xiaorui.cc测试下多线程和gevent在socket服务端的小包表现能力，测试的方法不太严谨，有点属于自娱自乐，要是有问题之处，请大家喷之 ！每个连接都特意堵塞了0.5秒钟 ！在大批量tcp测试下，threading的开销越来越大，所以造成了在并发数加大的情况下，出现threading崩溃的情况 ！  gevent是 libevent和协程的融合

gevent threading
gevent socket
socket threading
原创 推荐 2013-12-19 01:31:53 7178 阅读 6点赞 8评论

报警监控平台扩展功能url回调的设计及应用[python语言]

前言：        这个国内也有一些第三方的厂商在用，比如dnspod的url回调和监控宝的url回调！        有人开源了一个脚本，监控宝的url回调，可以联合dnspod的api接口。可以处理当ip-A的web死掉的时候，dns记录切换到ip-B上。 当然这只是个小应用罢了，但不能不说，这个想法确实不错。

python 平台化
python 监控系统
python 监控开发
监控报警平台
原创 推荐 2013-12-16 01:48:35 2143 阅读 11点赞 14评论

使用python构建基于hadoop的mapreduce日志分析平台

流量比较大的日志要是直接写入Hadoop对Namenode负载过大，所以入库前合并，可以把各个节点的日志凑并成一个文件写入HDFS。 根据情况定期合成，写入到hdfs里面。咱们看看日志的大小，200G的dns日志文件，我压缩到了18G，要是用awk perl当然也可以，但是处理速度肯定没有分布式那样的给力。Hadoop Streaming原理mapper和reducer会从标准输入中读取用户数据，

python mapreduce
python hadoop
python hadoop mapred
原创 推荐 2013-12-12 23:51:47 10000+阅读 7点赞 11评论

对于复杂流程确认的运维自动化方案的理解与探讨

前言：最近开始值班了，半夜三更处理一些个小问题，自己感觉是小事，但是对于边缘节点业务线来说可能是天大的事。 在想，其实这些个东西，完全可以做成自动化的东西。但是这个时候就出现了走流程和承担责任的问题了 ~ 大家懂的~ 其实对于快速运维方案来说，容易卡壳的地方，肯定会有走流程，确认流程 ~ 其实有些时候，咱们可以下放些权利，让普通管理员有少许控制权 ！      我就

python 运维自动化
运维平台化
python 接口
gevent
运维流程
原创 推荐 2013-12-11 00:50:45 2254 阅读 11点赞 16评论

基于gevent和pymysql实现mysql读写的异步非堵塞方案

咱们经常使用的mysql库，MySQL-Python库是用C写的，很遗憾它是阻塞的，要实现异步的MySQL驱动必须用Python版本的MySQL驱动！ 现在社区里面有两个纯python实现的mysql驱动。一个是 myconnpy  另一个是PyMysql ~ 这两个mysql驱动文档相当的少呀，好在他们的用法和MySQldb相当的像，不然就要头疼的看代码了。。。 实现的方式是用sock

python gevent
python pymysql
python 堵塞
mysqldb pymysql
原创 推荐 2013-12-08 23:09:54 10000+阅读 13点赞 20评论

密集负载下的网卡中断负载均衡smp affinity及单队列RPS

简单的说就是，每个硬件设备（如：硬盘、网卡等）都需要和 CPU 有某种形式的通信以便 CPU 及时知道发生了什么事情，这样 CPU 可能就会放下手中的事情去处理应急事件，硬件设备主动打扰 CPU 的现象就是硬件中断。关于SMP IRQ affinity？新的内核, Linux改进了分配特定中断到指定的处理器(或处理器组)的功能. 这被称为SMP IRQ affinity, 它可以控制系统如何响应各

linux 网卡调优
linux rps
linux irqbalance
smp affinity
RPS RFS
原创 推荐 2013-12-04 08:52:21 10000+阅读 8点赞 8评论

python之利用PIL库实现页面的图片验证码及缩略图

前言：          在域用户平台里面集成了一个信使的功能，但是怕别人无脑的乱发，又怕别人乱调用接口，加了一个图片验证码的功能~  实现起来比较简单，用python的PIL库就可以实现了。yum install -y libjpeg-devel yum install freetype-*安装pil库 ~能不能用，要看下面是否支持jp

python pil
python 验证码
python image
python 图片
原创 推荐 2013-12-01 16:19:22 4440 阅读 9点赞 11评论

告警通知平台的邮件短信接口实现思路以及数据统计

前段时间，芦淞那小子问过我，咋利用微信发送报警通知的调用接口。但是我当时用的是腾讯内部的接口，特别流氓，就算你把通知的微信号拉到黑名单，照样给你推送信息。这个接口没有对外开放的，我也没招的。现在微信公众平台主动推送信息也是有限制的， 所以外部调用是很不靠谱的~短信的方法是很不错，但是短信是要钱，当然有朋友说飞信可以呀？　我只能说　“呵呵　”其实大家心里也明白最靠谱的肯定是短信啦，但是短信的价格确实

告警平台
报警平台
python 平台化
通知平台
原创 推荐 2013-11-27 01:08:03 8238 阅读 22点赞 35评论

通过memcached实现领号排队功能及python队列实例

前言：前段时间写的那个域用户平台，要做大量的新功能运维测试，据说要抄IT组，让那帮人到搞，跑一下 ！ 尼玛，这可吓坏了我了。 因为平台要和windows做大量的交互，那边powershell又很不给力，改成多线程版本后，出现莫名的问题，很让人闹心。现在的状态是，client给server端可以同时推送两片信息，要是多的话，powershell实在处理不了，我只能放到queue队列里面了。现在很多的

python memcache
memcached 队列
python memcached
python redis memcach
原创 推荐 2013-11-24 10:43:17 4190 阅读 11点赞 12评论

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
开源基础软件社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区