51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号

运维平台化之IDC机柜拓扑及数据展现实现思路

前言：        如今大点的公司，都会有个类似机房的机柜摆放图的系统，可能有太多兄弟的公司没有这样的东西，如果想开发咋办？   又想开发出一套自动生成的咋办？  跟着我简单的开发出一套吧 ～   有问题，大家mail我 ～       无难度，只是简单介绍下，该运维平台用到的一些流程处理和自动

idc拓扑开发
idc信息数据
saltstack api
机房拓扑
原创 推荐 2013-12-29 15:14:44 10000+阅读 15点赞 16评论

利用saltstack的api接口和modules实现实时监控

前言：      其实一说起实时监控，我就有很多的感想 ~  以前也做过几个类似的全网流量监控的项目，用过websocket的模式的，还有就是redis pubsub模式，还有就是从同事的nagios获取流量数据（这个结果很郁闷，nagios加了Ndoutils插件后可以把数据存入到mysql里面，当时水平不到位，获取的数据有断链，原因不明）。 这些方法也都

saltstack modules
saltstack api
saltstack api接口
原创 推荐 2013-12-27 08:23:02 10000+阅读 13点赞 14评论

python实现select和epoll模型socket网络编程

这里简单搞搞select和eopll的接口开发 ~select目前几乎在所有的平台上支持，其良好跨平台支持也是它的一个优点，事实上从现在看来，这也是它所剩不多的优点之一，现在其实更多的人用epoll，在python下epoll文档有点少，就先讲究搞搞select ～select的一个缺点在于单个进程能够监视的文件描述符的数量存在最大限制，在Linux上一般为1024，不过可以通过修改宏定义甚至重新

python select
python 网络编程
python epoll
epoll 多线程
原创 推荐 2013-12-25 17:39:48 9214 阅读 8点赞 13评论

python调用mrjob实现hadoop的mapreduce日志解析

咱们一般写mapreduce是通过java和streaming来写的，身为pythoner的我，java不会，没办法就用streaming来写mapreduce日志分析。 这里要介绍一个模块，是基于streaming搞的东西。mrjob 可以让用 Python 来编写 MapReduce 运算，并在多个不同平台上运行，你可以：使用纯 Python 编写多步的 MapReduce 作业在本机上进行测

python mapreduce
mrjob
python mrjob
python streaming
原创 2013-12-24 14:02:28 4631 阅读 6点赞 6评论

利用pypy提高python脚本的执行速度及测试性能

啥是pypy简单地说, PyPy 是用 Python 语言写了一个工具, 将 Python 代码成 C, .NET, Java 等语言和平台的代码. PHP 也有类似的项目 – HipHop-PHP, 把 PHP 代码转成 C++ 代码.为什么要将一种语言转成另一种语言? 首先是目标语言可能在性能(如C语言)和/或跨平台(如 .NET, Java)等方面具有优势. 其次, 在转换的过程, 可以进行

python pypy
pypy cpython
pypy 性能
原创 推荐 2013-12-23 11:25:40 8014 阅读 6点赞 10评论

服务端socket开发之多线程和gevent框架并发测试[python语言]

请多关注下我的个人博客，blog.xiaorui.cc测试下多线程和gevent在socket服务端的小包表现能力，测试的方法不太严谨，有点属于自娱自乐，要是有问题之处，请大家喷之 ！每个连接都特意堵塞了0.5秒钟 ！在大批量tcp测试下，threading的开销越来越大，所以造成了在并发数加大的情况下，出现threading崩溃的情况 ！  gevent是 libevent和协程的融合

gevent threading
gevent socket
socket threading
原创 推荐 2013-12-19 01:31:53 7178 阅读 6点赞 8评论

报警监控平台扩展功能url回调的设计及应用[python语言]

前言：        这个国内也有一些第三方的厂商在用，比如dnspod的url回调和监控宝的url回调！        有人开源了一个脚本，监控宝的url回调，可以联合dnspod的api接口。可以处理当ip-A的web死掉的时候，dns记录切换到ip-B上。 当然这只是个小应用罢了，但不能不说，这个想法确实不错。

python 平台化
python 监控系统
python 监控开发
监控报警平台
原创 推荐 2013-12-16 01:48:35 2143 阅读 11点赞 14评论

使用python构建基于hadoop的mapreduce日志分析平台

流量比较大的日志要是直接写入Hadoop对Namenode负载过大，所以入库前合并，可以把各个节点的日志凑并成一个文件写入HDFS。 根据情况定期合成，写入到hdfs里面。咱们看看日志的大小，200G的dns日志文件，我压缩到了18G，要是用awk perl当然也可以，但是处理速度肯定没有分布式那样的给力。Hadoop Streaming原理mapper和reducer会从标准输入中读取用户数据，

python mapreduce
python hadoop
python hadoop mapred
原创 推荐 2013-12-12 23:51:47 10000+阅读 7点赞 11评论

对于复杂流程确认的运维自动化方案的理解与探讨

前言：最近开始值班了，半夜三更处理一些个小问题，自己感觉是小事，但是对于边缘节点业务线来说可能是天大的事。 在想，其实这些个东西，完全可以做成自动化的东西。但是这个时候就出现了走流程和承担责任的问题了 ~ 大家懂的~ 其实对于快速运维方案来说，容易卡壳的地方，肯定会有走流程，确认流程 ~ 其实有些时候，咱们可以下放些权利，让普通管理员有少许控制权 ！      我就

python 运维自动化
运维平台化
python 接口
gevent
运维流程
原创 推荐 2013-12-11 00:50:45 2254 阅读 11点赞 16评论

基于gevent和pymysql实现mysql读写的异步非堵塞方案

咱们经常使用的mysql库，MySQL-Python库是用C写的，很遗憾它是阻塞的，要实现异步的MySQL驱动必须用Python版本的MySQL驱动！ 现在社区里面有两个纯python实现的mysql驱动。一个是 myconnpy  另一个是PyMysql ~ 这两个mysql驱动文档相当的少呀，好在他们的用法和MySQldb相当的像，不然就要头疼的看代码了。。。 实现的方式是用sock

python gevent
python pymysql
python 堵塞
mysqldb pymysql
原创 推荐 2013-12-08 23:09:54 10000+阅读 13点赞 20评论

密集负载下的网卡中断负载均衡smp affinity及单队列RPS

简单的说就是，每个硬件设备（如：硬盘、网卡等）都需要和 CPU 有某种形式的通信以便 CPU 及时知道发生了什么事情，这样 CPU 可能就会放下手中的事情去处理应急事件，硬件设备主动打扰 CPU 的现象就是硬件中断。关于SMP IRQ affinity？新的内核, Linux改进了分配特定中断到指定的处理器(或处理器组)的功能. 这被称为SMP IRQ affinity, 它可以控制系统如何响应各

linux 网卡调优
linux rps
linux irqbalance
smp affinity
RPS RFS
原创 推荐 2013-12-04 08:52:21 10000+阅读 8点赞 8评论

python之利用PIL库实现页面的图片验证码及缩略图

前言：          在域用户平台里面集成了一个信使的功能，但是怕别人无脑的乱发，又怕别人乱调用接口，加了一个图片验证码的功能~  实现起来比较简单，用python的PIL库就可以实现了。yum install -y libjpeg-devel yum install freetype-*安装pil库 ~能不能用，要看下面是否支持jp

python pil
python 验证码
python image
python 图片
原创 推荐 2013-12-01 16:19:22 4440 阅读 9点赞 11评论

告警通知平台的邮件短信接口实现思路以及数据统计

前段时间，芦淞那小子问过我，咋利用微信发送报警通知的调用接口。但是我当时用的是腾讯内部的接口，特别流氓，就算你把通知的微信号拉到黑名单，照样给你推送信息。这个接口没有对外开放的，我也没招的。现在微信公众平台主动推送信息也是有限制的， 所以外部调用是很不靠谱的~短信的方法是很不错，但是短信是要钱，当然有朋友说飞信可以呀？　我只能说　“呵呵　”其实大家心里也明白最靠谱的肯定是短信啦，但是短信的价格确实

告警平台
报警平台
python 平台化
通知平台
原创 推荐 2013-11-27 01:08:03 8238 阅读 22点赞 35评论

通过memcached实现领号排队功能及python队列实例

前言：前段时间写的那个域用户平台，要做大量的新功能运维测试，据说要抄IT组，让那帮人到搞，跑一下 ！ 尼玛，这可吓坏了我了。 因为平台要和windows做大量的交互，那边powershell又很不给力，改成多线程版本后，出现莫名的问题，很让人闹心。现在的状态是，client给server端可以同时推送两片信息，要是多的话，powershell实在处理不了，我只能放到queue队列里面了。现在很多的

python memcache
memcached 队列
python memcached
python redis memcach
原创 推荐 2013-11-24 10:43:17 4190 阅读 11点赞 12评论

Mongodb千万级数据在python下的综合压力测试及应用探讨

曾经在收集数据的项目中，用过mongodb的数据存储，但是当数据很大的时候，还是比较的吃力。很可能当时的应用水平不高，也可以是当时的服务器不是很强。 所以这次能力比以前高点了，然后服务器比以前也高端了很多，好嘞 ~再测试下。（更多的是单机测试，没有用复制分片的测试 ～）！相比较MySQL，MongoDB数据库更适合那些读作业较重的任务模型。MongoDB能充分利用机器的内存资源。如果机器的内存资源

pymongo
python mongodb
python pymongo
原创 推荐 2013-11-21 01:40:57 10000+阅读 18点赞 1收藏 26评论

python之高性能网络编程并发框架eventlet实例

前言： 虽然 eventlet 封装成了非常类似标准线程库的形式，但线程和eventlet在实际并发执行流程仍然有明显区别。在没有出现 I/O 阻塞时，除非显式声明，否则当前正在执行的 eventlet 永远不会把 cpu 交给其他的 eventlet，而标准线程则是无论是否出现阻塞，总是由所有线程一起争夺运行资源。所有 eventlet 对 I/O 阻塞无关的大运算量耗时操作基本没有什么帮助。E

python eventlet
python gevent
python 协程
eventlet gevent
python 并发
原创 推荐 2013-11-18 01:12:52 10000+阅读 11点赞 10评论

基于python的REST框架eve测试与mongodb的数据操作

Eve是一款Python的REST API框架，用于构建和部署高可定制的、全功能的RESTful的Web服务。Eve是一个开源项目，遵循BSD开源协议，已在Python 2.6、2.7以及Python 3.3版本下进行了非常全面的测试。特色强调REST非常全面的CRUD操作可自定义的资源端点自定义多个项目端点筛选和排序分页HATEOASJSON和XML渲染条件请求数据完整性和并发控制多个添加操作数

python eve
eve restful
python mongodb
mongodb http
eve rest
原创 推荐 2013-11-16 11:36:52 6226 阅读 10点赞 13评论

celery配合rabbitmq任务队列实现任务的异步调度执行[celery redis]

前言：51cto的文章已经不再补充更新了，另外celery rabbitmq详细的使用方法请到这里浏览.http://xiaorui.cc/2014/11/16/celery-rabbitmq%E5%AE%9E%E7%8E%B0%E4%BB%BB%E5%8A%A1%E9%98%9F%E5%88%97%E7%9A%84%E5%BC%82%E6%AD%A5%E6%89%A7%E8%A1%8C/为啥要用

celery
python celery
celery redis
rabbitmq 队列
原创 推荐 2013-11-15 07:19:21 10000+阅读 14点赞 16评论

rabbitmq工作队列实现高性能任务的负载分发[python实例]

更详细的rabbitmq实例文章在我的独立博客里面，有兴趣的朋友可以去看看。  http://xiaorui.cc/2014/11/17/%E4%BD%BF%E7%94%A8rabbitmq%E5%B7%A5%E4%BD%9C%E9%98%9F%E5%88%97%E5%AE%9E%E7%8E%B0%E4%BB%BB%E5%8A%A1%E7%9A%84%E8%B4%9F%E8%B

python rabbitmq
rabbitmq zeromq
rabbitmq work queues
Rabbitmq 工作队列
原创 推荐 2013-11-09 08:23:51 7790 阅读 15点赞 17评论

webdis实现Redis的http接口及多数据格式共享 [含json,restful]

前言：最近用tornado写了redis的接口，为自己的做cs之间的数据中转，以及后期给别部门的临时数据调用。这些东西难度真不大，但是很杂乱，还要保证性能。朋友推荐了我这款redis的http的服务端利器，要功能他有，要性能他也有。。。webdis是一个简单的 Web 服务器，提供了 HTTP 接口来访问 Redis 服务器，使用了 hiredis, jansson, libevent, and

webdis http
webdis redis
redis json
redis http接口
redis web
原创 推荐 2013-11-06 00:12:21 9137 阅读 14点赞 17评论

高性能反向代理Apache Traffic Server配置小记 [ats cdn cache]

简单介绍下啥是ats？Apache Traffic Server（ATS或TS）是一个高性能的、模块化的 HTTP 代理和缓存服务器。谁再用？淘宝，京东，蓝讯，雅虎等都在搞。。为啥用？天生的多进程，epoll高性能框架,强大的cli功能，能把要缓存的大文件直接push进缓存系统给里面等等。。。不扯了，直接干起。。。下载地址：http://apache.fayea.com/apache-mirror

ats cdn
Apache Traffic Serve
traffic server缓存
ats cdn 缓存
原创 2013-11-03 01:08:47 10000+阅读 11点赞 9评论

redis数据库事务处理及hash,list,set类型的python开发应用

随着这段时间做项目，又拾起来redis这个nosql利器。。。以前redis用的最多方面是string的kv存储，队列和mq通信。这段时间重新系统的学习了redis。 关于redis hash哈希的解释：（很官方）redis hash是一个string类型的field和value的映射表.它的添加，删除操作都是O(1)（平均）.hash特别适合用于存储对象。相较于将对象的每个字段存成单个strin

redis 事务处理
redis hash
redis python hash
python redis
原创 推荐 2013-10-30 08:36:19 4630 阅读 10点赞 13评论

在python中实现自定义配置文件解析及应用技巧[yaml and ConfigParser]

给大家介绍下两个库哈，ConfigParser和yaml ，这俩主要是实现配置文件解析的。前沿： 这段时间同事做项目，我发现有一些个全局配置或者平台的主配置文件，都是写在一个模块里面的。 这也太不专业和太专业了。。。 不专业在与，python有很多这样的配置文件解析的模块。 太专业在于，每次改全局配置都要在xxx.py修改。。。给人的感觉不爽。。。我一般是咋用的：脚本的配置变量的解析修改 ！ 说的

python yaml
python configparser
python 全局配置
python yaml配置
python 配置文件
原创 推荐 2013-10-24 11:20:33 10000+阅读 16点赞 26评论

tornado实现异步计划任务及python常见计划任务方法

主要是要实现tornado实现计划任务类crontab间隔 ~大家看了标题，可能知道我要写啥了　～　对头，我用tornado实现一个类似crontab时间间隔调度的程序。我为啥要写这个？一方面是 更加深入的了解tornado异步方面的能力 。 另一方面是 在特殊的环境下编写更适合更方便自己的工具。 啥特殊的环境？比如，我们有好几个后端脚本，这些脚本都要间隔的运行调度。然而这些程序都是秒级别的，这样

tornado callback
python apscheduler
tornado crontab
python 异步
原创 推荐 2013-10-11 00:21:39 10000+阅读 13点赞 24评论

利用saltstack的salt-ssh进行集群管理【无客户端下】

更多saltstack的文章总结在：http://rfyiamcool.blog.51cto.com/1030776/1357677我的个人独立博客地址是，blog.xiaorui.cc十一回来，很是懒散呀~ 今天在群里看到 itnihao兄在聊 salt-ssh ，这是个好东西，就群里一直就跟进着。。。翻了下聊天记录，就把salt-ssh实现了下。原本前些日子就想写一个salt ssh的文章，正

salt-ssh
salt-api
saltstack 集群
salt-ssh fabric
原创 推荐 2013-10-08 11:54:14 10000+阅读 20点赞 1收藏 37评论

测试比json更快更小的二进制数据传输格式Msgpack [pythono MessagePack 版本]

MessagePack简称msgpack，官方网站是http://msgpack.org/ ,代码可以在github上查看 https://github.com/msgpack。官方介绍是“Extremely efficient object serialization library for cross-language communication.It's like JSON, but ver

msgpack
python msgpack
Msgpack json
zeromq msgpack
saltstack msgpack
原创 推荐 2013-09-30 18:03:13 10000+阅读 10点赞 15评论

构建私有云平台cloudstack集群配置及不中断迁移测试

CloudStack 是一个开源的具有高可用性及扩展性的云计算平台。目前Cloudstack支持管理大部分主流的hypervisors，如KVM，XenServer，VMware，Oracle VM，Xen等。同时CloudStack是一个开源云计算解决方案。可以加速高伸缩性的公共和私有云（IaaS）的部署、管理、配置。使用CloudStack作为基础，数据中心操作者可以快速方便的通过现存基础架构

cloudstack
cloudstack集群
cloudstack模板
cloudstack迁移
原创 推荐 2013-09-28 13:32:53 4176 阅读 12点赞 23评论

实现大屏幕全国监控各地流量和负载质量

现在每个大公司都有自己的一套全局质量监控的东西，见过沈灿他们公司的大屏幕很酷，很牛逼。 也用过腾讯某部门websocket做的实时推送全国节点阀值并报警的项目，也从朋友那得到淘宝运维体系的在线热点监控的画面。。。。 我这里就简单实现一个全局的大屏幕监控。这东西一般是好几个人一块搞的，有前端的，有后端的，最少也要两个人。 条件有限，只能是对付了。推荐一个js  http://www.osc

websocket 实时监控
全国流量监控
saltstack puppet
tornado websocket
原创 推荐 2013-09-27 01:24:32 6665 阅读 13点赞 22评论

实现线上高性能接口方案nginx负载tornado后端lua数据

最近实现了一个http的接口 ~ http的方式，访问结果为json nginx做负载，web分离，url转发 ~tornado做数据操作和异步调用lua的接口 ~memcached做session的共享 (为啥不用redis做session，一方面是为了不和redis有kv冲突，服务器的中断冗余，更主要的方面是用redis存储session我没有做出来，郁闷呀。。。。)redis做kv数据库和队

tornado lua
nginx tornado
python nginx
tornado supervisord
python 高性能
原创 推荐 2013-09-25 10:18:58 5083 阅读 9点赞 19评论

使用Saltstack的ssh模块实现key的集中式管理 [salt.modules.ssh]

如题：使用saltstack的ssh模块进行key的集中管理saltstack sshsalt-sshsaltstack keyhttp://rfyiamcool.blog.51cto.com/1030776/1305710salt-keySYNOPSISsalt-key [ options ]DESCRIPTIONSalt-key executes simple management of Sa

saltstack api
saltstack puppet
saltstack ssh
saltstack 多主
saltstack key
原创 2013-09-22 17:48:20 3787 阅读 6点赞 7评论
  • 1
  • 2
  • 3

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
开源基础软件社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区