rfyiamcool的博客_Mysql,Oracle,数据库,Linux,Nginx,shell,虚拟化,web相关,CDN缓存,负载均衡(2)

浅谈测试rhel7新功能时的感受及遇到的问题

半夜起来看世界杯，没啥激情，但是又怕错误意大利和英格兰的比赛，就看了rhel7相关新功能的介绍。 rhel7的下载地址： https://access.redhat.com/site/downloads/ 安装还算顺利，安装的界面比以前简洁的多，很清爽，分类很是明确。有些奇

rhel7

openlmi

centos7

systemed

原创推荐 2014-06-15 12:28:07 5229 阅读 8点赞 13评论

监控开发之用munin来自定义插件监控redis和mongodb

求监控组的大哥大妹子们干点事，真不容易！要问他们是谁？他们是神。轻易别找他们，因为找了也是白找。上次因为python和redis长时间brpop的时候，会有线程休眠挂起的情况，所有通知报警平台被下线了。这次算是完美解决了。再把他给上线。这两公司的告警已经开始往我这边的接口开始仍了。这边正在改zabbix cmdb的控制，所以暂时不能登录。等搞好了后，让他们搞下re

munin

munin 插件

munin 自定义

监控开发

原创推荐 2014-06-13 17:46:21 2444 阅读 6点赞 9评论

用python做服务端时实现守候进程的那些方式

说说，需要做守候进程的时候，我是怎么进化高端的。（怎么高端，具体自己定义，我的土，说不定是你的高端）python deamon的思路:1.进程脱离父进程及终端绑定,如果不这样的话，主进程退出，派生的子进程也跟着倒霉了。脱离终端也是这个理。2.进程唯一性保证，这是废话3.标准输入/输出/错误重定向，为了不让错误打到前面，又为了更好的分析数据。说的洋气点、nb点、细化点（其实就os的三个动作）：os.

python 守候进程

python daemon

python fork

原创推荐 2014-06-10 23:57:46 5500 阅读 3点赞 2评论

平台化之利用ansible api接口的async使任务异步

今个也不前言了，直接切入主题！请大家多关注下我的个人博客，http://xiaorui.cc 同事在做一个关于方便的批量上线初始化的平台，其实我真不想说平台两个字，啥都平台，显得有些不时尚了。 ansible是个好东西，只是上线打包初始化的任务太耗时间，经常是20分钟左右。这时候需要异步的执行，对于ansible来说，客户端把消耗时间的任务通过signal信号来处理，把结果扔到以jid为文件名

ansible api

ansible async

ansible web

ansible ui

原创推荐 2014-06-05 00:23:49 10000+阅读 6点赞 6评论

使用kibana和elasticsearch日志实时绘制图表

前言：此文接的是上篇，上次的内容是，用python操作elasticsearch存储，实现数据的插入和查询。估计有些人一看我的标题，以为肯定是 logstash kibana elasticsearch的组合。这三个家伙也确实总是勾搭在一块。其实logstash是可以被别的替换，比如常见的fluented 。剩下的那两个，kib

kibana elasticsearch

elasticsearch kibana

运维日志分析

原创推荐 2014-06-02 02:05:49 10000+阅读 9点赞 1收藏 10评论

实时数据之python操作elasticsearch监控数据插入图表分析

前言：例行公事，有些人可能不太了解elasticsearch，下面搜了一段，大家瞅一眼。Elasticsearch是一款分布式搜索引擎，支持在大数据环境中进行实时数据分析。它基于Apache Lucene文本搜索引擎，内部功能通过ReST API暴露给外部。除了通过HTTP直接访问Elasticsearch，还可以通过支持Java、JavaScrip

python elasticsearch

elasticsearch api

elasticsearch restfu

原创 2014-06-01 10:58:47 10000+阅读 2点赞 2评论

探索ansible runner的源码及执行api原理

前沿： ansible的文档说的不清不楚，文档一点也不实在，有些范例都做不通，走不通。今天中午吃饭的时候，和同事祖天彪（这名够霸道吧），聊了很长时间ansible在实际项目中碰到的问题，尤其是运维平台页面上。下午的时候，找他去玩耍，这哥们正好在看ansible的api源码，也就是 ansible runner ～ &nb

ansible api

ansible runner

ansible 源码

ansible inventory

原创 2014-05-30 20:59:25 10000+阅读 7点赞 2收藏 6评论

saltstack event配合websocket客户端实时推送结果

前沿：以前都是调取一个url的接口，把结果post过去，然后接收post请求的那个函数，会把结果send到指定的websocket客户端，也可以是所有的websocket客户端。但总是觉得频繁的调用url，然后再send，觉得有些多此一举，还不如用python websocket client直接链接w

saltstack event

saltstack 实时

原创推荐 2014-05-28 10:37:10 3760 阅读 8点赞 7评论

ansible通过cmdb资产接口动态创建hosts列表

前言：在自动化、批量化操作主机的时候，有时候咱们需要定义主机组。比如，saltstack的group组，及salt -N参数，在ansible下的自己搞定ansible的主机组。有些麻烦，要知道，你既然选择了用saltstack、ansible这类的集群操作工具，如果你再选择把几

ansible hosts

ansible inventory

ansible cmdb

原创推荐 2014-05-25 11:24:01 10000+阅读 10点赞 8评论

使用google authenticator打造运维平台的动态口令

请多多关注我的个人博客，xiaorui.cc前沿：在腾讯，百度，阿里，360运维人员登录堡垒机，或者是单点登录引导的各种运维平台，好多都需要用动态口令令牌的，用rsa的多点，这栋系价格不便宜，国内也有些便宜的，一些游戏公司的将军令就是从国内x厂商定制买的，有兴趣的可以搜搜，价格还算可以，给你提供服务端的

运维平台 token

运维口令

运维 token

开发动态口令

原创 2014-05-23 14:43:05 7712 阅读 5点赞 4评论

利用ansible modules模块来自定义集群管理

前沿：在一些个特定环境下，用ansible做集群管理还是很棒的，这两天看了他的模块，官方提供了很多，就算不够，你也可以自定义定制。话说我挺喜欢他的modules模块的，够直接！！！我这里就说些常见的ansible的modules吧。下面的ansible service一看大家就懂了，就是服务状态的管理模块[root@devops-ruifengyun&n

ansible 自定义

ansible modules

ansible 模块

原创推荐 2014-05-20 23:51:41 6888 阅读 4点赞 1收藏 4评论

关于ansible的playbook模板和facts的后续文档

很简单，就是补充上次的文档，这里会写点自己ansible实战中遇到的种种问题及如何解决问题的思路，给大家扯扯。这个地址是上篇的，没有playbook基础的朋友，可以看看，文档算详细的！http://rfyiamcool.blog.51cto.com/1030776/1413031上次的文章有些偏语法，那！我们来一个简单的实战吧，用ansible的playbook配置nginx，是有点过于简单了

ansible playbook

ansible facts

ansible 模板

原创推荐 2014-05-18 23:14:47 4590 阅读 1点赞 1收藏 1评论

ansible的playbook配置及template模板的使用

前言：学习下ansible的playbooks的状态配置管理，说来puppet saltstack都有类似的叫法，只是ansible的叫法更犀利，我当时一看playbook还以为是***的playboy。要使用ansible就要深入学习playbook配置及模板。注:到底是playbook还是playbooks。。。。请大家多关注下我的个人博客 , http://xi

ansible

ansible template

ansible 模板

ansible playbook

原创 2014-05-18 02:31:10 10000+阅读 8点赞 1收藏 2评论

在python下比celery更加简单的异步任务队列RQ

前言：关于python rq有几点没有描述清楚，修正后的文章在这。http://xiaorui.cc/2014/11/09/%E5%9F%BA%E4%BA%8Eredis%E5%8F%88%E6%AF%94celery%E6%9B%B4%E5%8A%A0%E7%AE%80%E5%8D%95%E7%9A%84%E5%BC%82%E6%AD%A5%E4%BB%BB%E5%8A%A1%E9%

python rq

python celery

python 异步任务

python 后端任务

原创推荐 2014-05-15 00:24:38 5800 阅读 3点赞 5评论

构建报警平台为减轻zabbix负载压力大及智能收敛信息

原文在 http://xiaorui.cc

zabbix 二次开发

zabbix 性能

zabbix http报警

zabbix负载

原创推荐 2014-05-09 11:23:03 10000+阅读 14点赞 1收藏 16评论

tornado使用redis来实现session分布式存储

前言：为了提供让tornado更接近c10的能力，只能用nginx来处理tornado不太擅长的静态文件及用多app方案来提高负载能力。我人比较的懒，把接口和平台的页面都做成一个py了，用upstream不好做负载，如果你用ip_hash，或者insert cookie的方式，虽然保证了针对后端服务器的命中，但是哥还就不想命中。

tornado redis

tornado redis sessio

tornado redis cookie

nginx tornado sessio

原创推荐 2014-05-05 00:09:01 9314 阅读 8点赞 10评论

python的分布式任务并行处理框架Jug简单使用

前言：大家是否需要一个强度大点的任务处理框架，比如临时发送大量的通知邮件，需要做大量的cpu计算，需要做大量的部署，需要做xxxx。好嘞，下面看看jug的介绍及使用文档。介绍一个简单易用的任务处理框架，名字叫Jug，它是一个基于任务的并行处理框架，采用 Python 编写，可立马实现多任务处理，及在不同的机器上运

python 分布式

python 并行

python jug

python并行

原创 2014-05-02 17:05:06 7165 阅读 4点赞 3评论

放弃redis使用mongodb做任务队列支持增删改管理

使用mongodb做任务队列管理支持增删改，我是喜欢用redis的list做队列的，但是这边经常堆积任务，需要查看并删除清空队列，有可能会根据一些content的字段来进行删除，有可能是会针对发件人，或者是时间段来删除。这样redis真的不太适合了，因为redis的队列只能是一个值，当时咱们也可以只是存一个任务id，然后放到redis hash来做，处理的时候，无逻辑，但是查询修改

pymongo

python mongodb

mongodb 队列

队列管理

mongodb redis

原创推荐 2014-04-30 11:26:32 10000+阅读 7点赞 5评论

结合二维码打造安全的手机远程运维管理平台

前言：这是一个为了简单运维又摆脱苦逼而想到的思路，最一开始利用微信的接口来管理集群接口，后来做过一个用短信上行接口来远程管理服务器的项目，来新公司收取短信的上行接口是没有的，当然有朋友说，你可以直接开外网呀，确实是可以，但是权限一定要限制好，首先让程序越简单越好，最好让他们连个入口的文件都找不到。比如这个地址（够杂乱吧）：http://blog.xiaorui.cc/m

手机运维管理

python 二维码

手机运维

手机管理服务器

手机运维平台

原创推荐 2014-04-23 00:53:50 4124 阅读 12点赞 1收藏 13评论

django在nginx uwsgi和tornado异步方案在项目中的体验

前言：这两天搜文章的时候，发现不少人对tornado有些误解的。只是想说说自己对于这些框架的理解，和实际项目中的对比。部分有文章说tornado性能很一般，我当时一瞅，很是郁闷，这些人是怎么测试的呢，就直接跑hello world。很直接就用tornado最最基本的功能，那他的性能也就和django flask一样了。这样没太多的意义，个人觉

tornado uwsgi

django tornado

uwsgi coroutine

uwsgi tornado

原创推荐 2014-04-17 22:31:48 7542 阅读 10点赞 15评论

使用tornado httpclient的异步库AsyncHTTPClient构建中转接口

前言：我这里简单的描述一下中转接口，因为权限和各种的限制导致不是所以人都可以查询想要的信息，比如他的资产。然而我这边也不能直接从库里面查询，也是要通过rest的模式去访问。其实不用说的那么多，大家做平台开发的时候，一定会遇到去访问远端的数据，如果你用tornaod的话，就可以用httpclient的

tornado httpclient

tornado AsyncHTTPCli

tornado api

原创推荐 2014-04-12 23:21:44 8607 阅读 10点赞 12评论

使用tornado模板引擎配合yaml构建nginx配置接口 [扩展saltstack]

最近同事们在搞一个nginx的配置下发接口，项目用tornado redis yaml来实现，我这里就簡單分享下关于nginx配置api实现。#coding:utf-8 #xiaorui.cc import tornado.httpserver import yaml import tornado.gredis import tornado.ioloop import tornado.web im

saltstack nginx

tornado yaml

tornado 模板

tornado nginx

原创推荐 2014-04-10 14:22:20 3208 阅读 7点赞 4评论

开发分布式网络监控分析之前端ajax展现那些事

周六自己在家甚是无聊，看到朋友们在讨论分布式监控分析，要的效果是阿里测,17ce那种形式的，想查询监控啥的时候，在一个页面上能看到所以监控点提供的数据。比如，我想要查询针对一个url的get，dig数据。在这边直接采用zabbix、nagios的数据不太合理，因为我想要是给客服和客户用的界面。像zabbix这样，咱们只能是提前先配置好。以前做过类似的全网监控检测，但是做的有些简陋，但也和这次聊

分布式监控

分布式开发

分布式网络监控

分布式网络分析

阿里测

原创推荐 2014-04-05 12:25:38 2391 阅读 4点赞 6评论

nginx lua redis解决saltstack下发传输文件慢的问题思路

saltstack nginx

saltstack 下发

saltstack 慢

saltstack 传输慢

原创推荐 2014-04-01 11:27:00 3786 阅读 5点赞 8评论

twisted应用中异步回调的方式及线程的应用

前言：学习了golang的goruntine后，再回过头来看twisted网络编程库中的异步应用，没事琢磨下，以前搞过一个twisted做负载分发，性能差的要命，这几天再搞搞，看看能不能做少许提升。说正题：先介绍下twisted的几个的概念twisted有个defer的概念，说来golang也有个defer，只是golang的是和panic recover配合做异常捕

twisted 异步

twisted 回调

twisted 线程

python deferred

原创推荐 2014-03-30 03:32:18 4409 阅读 4点赞 4评论

zabbix二次开发之从mysql取值在运维平台js图表展现

前沿：集群控制平台已经要慢慢的灰度上线了，出问题的时候，才找点bug，时间有点空闲。正好看了下zabbix的数据库，产生了自己想做一套能更好的展现zabbix的页面。更多内容请到我的个人的博客站点，blog.xiaorui.cc zabbix的强点大家都感觉或者用出感觉了，确实很是方便。曾经的我，跟着公司的团队开发过一套不小的监控系统，看过我

zabbix 开发

zabbix 图表展现

zabbix 二次开发

zabbix 页面

原创推荐 2014-03-28 00:49:40 9207 阅读 10点赞 13评论

Golang实现web api接口调用及web数据抓取[get post模式]

前沿：继续扩展我的golang服务端，这边有些数据库是没有权限的，对方给了我webservices的接口，针对异常的数据，我要去抓数据，再次分析，golang貌似没有python那么多的模拟浏览器访问的模块，还好默认的http就支持。功能一点都不必urllib2 差。。。正题！！！这里是通过golang提供的net/http模块， htt

golang NewRequest

golang post

golang get

golang 爬虫

原创推荐 2014-03-26 14:03:32 8169 阅读 3点赞 4评论

golang使用go-sql-driver实现mysql增删改操作

这两天用golang 写的服务端做的都是和redis做交互，因为后期还会用mysql的一个表做验证。先学习下golang对mysql的操作！mymysql和go-mysql-driver是两个现在都很流行的go的mysql驱动，看了下文档，后者比较的健全，听大牛们介绍，貌似go-mysql-driver更加的健全。安装配置还是那么简单，直接go get就可以

go go-sql-driver

go mysql

go 数据库

golang mysql

原创推荐 2014-03-25 15:09:56 8490 阅读 2点赞 1评论

在golang编程中总结的基础语法及常见的问题

写下，自己在用golang开发中，用到的东西，有啥写啥。今个就写下golang中的控制语句 if else、for、switch、goto，这几个方面。if 判断对比package main import "fmt" func main(){ fmt.Printf("hello world\n") if a:=5;a>2 { fmt.P

golang 语法

golang 控制语句

golang slices

原创 2014-03-23 22:40:55 1501 阅读 3点赞 2评论

使用golang的http模块构建redis读写查api

前沿：这两天试着用golang做一些高性能的api，不想把压力到聚合在平台的接口上。平台因为要做很多耗时间的操作，uwsgi下会出现少许错误，找了一圈不知道如何解决该问题。暂时先绕道而行，先拿简单的接口来做测试，慢慢的把复杂的操作也迁移到golang上。话说以前高性能

golang redis

golang http redis

go redis

golang redis api

原创推荐 2014-03-21 09:49:17 4747 阅读 6点赞 1收藏 5评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	软考资讯	汽车开发者社区

51CTO博客

峰云，就她了。