rfyiamcool的博客_Mysql,Oracle,数据库,Linux,Nginx,shell,虚拟化,web相关,CDN缓存,负载均衡(4)

Mongodb千万级数据在python下的综合压力测试及应用探讨

曾经在收集数据的项目中，用过mongodb的数据存储，但是当数据很大的时候，还是比较的吃力。很可能当时的应用水平不高，也可以是当时的服务器不是很强。所以这次能力比以前高点了，然后服务器比以前也高端了很多，好嘞 ~再测试下。（更多的是单机测试，没有用复制分片的测试～）！相比较MySQL，MongoDB数据库更适合那些读作业较重的任务模型。MongoDB能充分利用机器的内存资源。如果机器的内存资源

pymongo

python mongodb

python pymongo

原创推荐 2013-11-21 01:40:57 10000+阅读 18点赞 1收藏 26评论

python之高性能网络编程并发框架eventlet实例

前言：虽然 eventlet 封装成了非常类似标准线程库的形式，但线程和eventlet在实际并发执行流程仍然有明显区别。在没有出现 I/O 阻塞时，除非显式声明，否则当前正在执行的 eventlet 永远不会把 cpu 交给其他的 eventlet，而标准线程则是无论是否出现阻塞，总是由所有线程一起争夺运行资源。所有 eventlet 对 I/O 阻塞无关的大运算量耗时操作基本没有什么帮助。E

python eventlet

python gevent

python 协程

eventlet gevent

python 并发

原创推荐 2013-11-18 01:12:52 10000+阅读 11点赞 10评论

基于python的REST框架eve测试与mongodb的数据操作

Eve是一款Python的REST API框架，用于构建和部署高可定制的、全功能的RESTful的Web服务。Eve是一个开源项目，遵循BSD开源协议，已在Python 2.6、2.7以及Python 3.3版本下进行了非常全面的测试。特色强调REST非常全面的CRUD操作可自定义的资源端点自定义多个项目端点筛选和排序分页HATEOASJSON和XML渲染条件请求数据完整性和并发控制多个添加操作数

python eve

eve restful

python mongodb

mongodb http

eve rest

原创推荐 2013-11-16 11:36:52 6226 阅读 10点赞 13评论

celery配合rabbitmq任务队列实现任务的异步调度执行[celery redis]

前言：51cto的文章已经不再补充更新了，另外celery rabbitmq详细的使用方法请到这里浏览.http://xiaorui.cc/2014/11/16/celery-rabbitmq%E5%AE%9E%E7%8E%B0%E4%BB%BB%E5%8A%A1%E9%98%9F%E5%88%97%E7%9A%84%E5%BC%82%E6%AD%A5%E6%89%A7%E8%A1%8C/为啥要用

celery

python celery

celery redis

rabbitmq 队列

原创推荐 2013-11-15 07:19:21 10000+阅读 14点赞 16评论

rabbitmq工作队列实现高性能任务的负载分发[python实例]

更详细的rabbitmq实例文章在我的独立博客里面，有兴趣的朋友可以去看看。 http://xiaorui.cc/2014/11/17/%E4%BD%BF%E7%94%A8rabbitmq%E5%B7%A5%E4%BD%9C%E9%98%9F%E5%88%97%E5%AE%9E%E7%8E%B0%E4%BB%BB%E5%8A%A1%E7%9A%84%E8%B4%9F%E8%B

python rabbitmq

rabbitmq zeromq

rabbitmq work queues

Rabbitmq 工作队列

原创推荐 2013-11-09 08:23:51 7790 阅读 15点赞 17评论

webdis实现Redis的http接口及多数据格式共享 [含json,restful]

前言：最近用tornado写了redis的接口，为自己的做cs之间的数据中转，以及后期给别部门的临时数据调用。这些东西难度真不大，但是很杂乱，还要保证性能。朋友推荐了我这款redis的http的服务端利器，要功能他有，要性能他也有。。。webdis是一个简单的 Web 服务器，提供了 HTTP 接口来访问 Redis 服务器，使用了 hiredis, jansson, libevent, and

webdis http

webdis redis

redis json

redis http接口

redis web

原创推荐 2013-11-06 00:12:21 9137 阅读 14点赞 17评论

高性能反向代理Apache Traffic Server配置小记 [ats cdn cache]

简单介绍下啥是ats？Apache Traffic Server（ATS或TS）是一个高性能的、模块化的 HTTP 代理和缓存服务器。谁再用？淘宝，京东，蓝讯，雅虎等都在搞。。为啥用？天生的多进程，epoll高性能框架,强大的cli功能，能把要缓存的大文件直接push进缓存系统给里面等等。。。不扯了，直接干起。。。下载地址：http://apache.fayea.com/apache-mirror

ats cdn

Apache Traffic Serve

traffic server缓存

ats cdn 缓存

原创 2013-11-03 01:08:47 10000+阅读 11点赞 9评论

redis数据库事务处理及hash,list,set类型的python开发应用

随着这段时间做项目，又拾起来redis这个nosql利器。。。以前redis用的最多方面是string的kv存储，队列和mq通信。这段时间重新系统的学习了redis。关于redis hash哈希的解释：（很官方）redis hash是一个string类型的field和value的映射表.它的添加，删除操作都是O(1)（平均）.hash特别适合用于存储对象。相较于将对象的每个字段存成单个strin

redis 事务处理

redis hash

redis python hash

python redis

原创推荐 2013-10-30 08:36:19 4630 阅读 10点赞 13评论

在python中实现自定义配置文件解析及应用技巧[yaml and ConfigParser]

给大家介绍下两个库哈，ConfigParser和yaml ，这俩主要是实现配置文件解析的。前沿：这段时间同事做项目，我发现有一些个全局配置或者平台的主配置文件，都是写在一个模块里面的。这也太不专业和太专业了。。。不专业在与，python有很多这样的配置文件解析的模块。太专业在于，每次改全局配置都要在xxx.py修改。。。给人的感觉不爽。。。我一般是咋用的：脚本的配置变量的解析修改！说的

python yaml

python configparser

python 全局配置

python yaml配置

python 配置文件

原创推荐 2013-10-24 11:20:33 10000+阅读 16点赞 26评论

tornado实现异步计划任务及python常见计划任务方法

主要是要实现tornado实现计划任务类crontab间隔 ~大家看了标题，可能知道我要写啥了　～　对头，我用tornado实现一个类似crontab时间间隔调度的程序。我为啥要写这个？一方面是更加深入的了解tornado异步方面的能力。另一方面是在特殊的环境下编写更适合更方便自己的工具。啥特殊的环境？比如，我们有好几个后端脚本，这些脚本都要间隔的运行调度。然而这些程序都是秒级别的，这样

tornado callback

python apscheduler

tornado crontab

python 异步

原创推荐 2013-10-11 00:21:39 10000+阅读 13点赞 24评论

利用saltstack的salt-ssh进行集群管理【无客户端下】

salt-ssh

salt-api

saltstack 集群

salt-ssh fabric

原创推荐 2013-10-08 11:54:14 10000+阅读 20点赞 1收藏 37评论

测试比json更快更小的二进制数据传输格式Msgpack [pythono MessagePack 版本]

MessagePack简称msgpack，官方网站是http://msgpack.org/ ,代码可以在github上查看 https://github.com/msgpack。官方介绍是“Extremely efficient object serialization library for cross-language communication.It's like JSON, but ver

msgpack

python msgpack

Msgpack json

zeromq msgpack

saltstack msgpack

原创推荐 2013-09-30 18:03:13 10000+阅读 10点赞 15评论

构建私有云平台cloudstack集群配置及不中断迁移测试

CloudStack 是一个开源的具有高可用性及扩展性的云计算平台。目前Cloudstack支持管理大部分主流的hypervisors，如KVM，XenServer，VMware，Oracle VM，Xen等。同时CloudStack是一个开源云计算解决方案。可以加速高伸缩性的公共和私有云（IaaS）的部署、管理、配置。使用CloudStack作为基础，数据中心操作者可以快速方便的通过现存基础架构

cloudstack

cloudstack集群

cloudstack模板

cloudstack迁移

原创推荐 2013-09-28 13:32:53 4176 阅读 12点赞 23评论

实现大屏幕全国监控各地流量和负载质量

现在每个大公司都有自己的一套全局质量监控的东西，见过沈灿他们公司的大屏幕很酷，很牛逼。也用过腾讯某部门websocket做的实时推送全国节点阀值并报警的项目，也从朋友那得到淘宝运维体系的在线热点监控的画面。。。。我这里就简单实现一个全局的大屏幕监控。这东西一般是好几个人一块搞的，有前端的，有后端的，最少也要两个人。条件有限，只能是对付了。推荐一个js http://www.osc

websocket 实时监控

全国流量监控

saltstack puppet

tornado websocket

原创推荐 2013-09-27 01:24:32 6665 阅读 13点赞 22评论

实现线上高性能接口方案nginx负载tornado后端lua数据

最近实现了一个http的接口 ~ http的方式，访问结果为json nginx做负载，web分离，url转发 ~tornado做数据操作和异步调用lua的接口 ~memcached做session的共享 (为啥不用redis做session，一方面是为了不和redis有kv冲突，服务器的中断冗余，更主要的方面是用redis存储session我没有做出来，郁闷呀。。。。)redis做kv数据库和队

tornado lua

nginx tornado

python nginx

tornado supervisord

python 高性能

原创推荐 2013-09-25 10:18:58 5083 阅读 9点赞 19评论

使用Saltstack的ssh模块实现key的集中式管理 [salt.modules.ssh]

如题：使用saltstack的ssh模块进行key的集中管理saltstack sshsalt-sshsaltstack keyhttp://rfyiamcool.blog.51cto.com/1030776/1305710salt-keySYNOPSISsalt-key [ options ]DESCRIPTIONSalt-key executes simple management of Sa

saltstack api

saltstack puppet

saltstack ssh

saltstack 多主

saltstack key

原创 2013-09-22 17:48:20 3787 阅读 6点赞 7评论

高性能tornado框架简单实现restful接口及运维开发实例

Tornado 和现在的主流 Web 服务器框架（包括大多数 Python 的框架）有着明显的区别：它是非阻塞式服务器，而且速度相当快。得利于其非阻塞的方式和对 epoll 的运用，Tornado 每秒可以处理数以千计的连接，这意味着对于实时 Web 服务来说，Tornado 是一个理想的 Web 框架。有个朋友让我搞搞tornado框架，说实话，这个框架我用的不多。。。请大家多关注下，我的原文

tornado 入门

tornado 高性能

tornado restful

python 异步

tornado 并发

原创推荐 2013-09-18 13:20:56 10000+阅读 11点赞 35评论

关于node.js的web框架的应用及并发性能测试

"Node.js 是服务器端的 JavaScript 运行环境，它具有无阻塞(non-blocking)和事件驱动(event-driven)等的特色，Node.js 采用 V8 引擎，同样，Node.js 实现了类似 Apache 和 nginx 的web服务，让你可以通过它来搭建基于 JavaScript 的 Web App。" 大家要是用过python的tornado，会发觉node.js和

node.js

node.js性能测试

python node.js

node.js restful

原创推荐 2013-09-14 14:22:00 10000+阅读 10点赞 25评论

物理虚拟化服务器之间的KVM在线动态迁移

show ~ 前几天，我蛋疼的时候做的~ 实验下虚拟化可以套嵌几层。。。 vm套嵌vm主机，大家看看我套嵌了几层。ubuntu-xp-centos-ubuntu ~说正题~简单讲解下，我在迁移kvm主机的过程~我的拓扑是这样的~ 需要说明的nfs的性能一般，虽然nfs服务器本身的io很棒，但是nfs总是给人

python kvm

python 迁移

kvm 迁移

kvm动态迁移

原创推荐 2013-09-09 18:42:01 3058 阅读 11点赞 10评论

构建快速部署的python pip环境及pypi本地源环境

前言：大家用pip安装模块有没有遇见过这样的情况：对的，这就是抽风的timeout昨天看到一个朋友慢腾腾给所有节点搞tornado，他的源是官方的源，官方的源时不时的会抽风，会慢的。所以我推荐他用国内的源，或者是连接我们自己搭建的源。由此我就跟大家扯一下如何构建快速的python 模块的环境 ~其实国内很多大公司都有自己的pypi源的，只是好多都私有环境的下面都是国内速度比较快的节点指定pypi源

python pip

pypi环境

python pypi

本地源pypi

搭建 pypi

原创 2013-09-07 12:51:09 10000+阅读 6点赞 14评论

爬虫采集-基于webkit核心的客户端Ghost.py [爬虫实例]

对与要时不时要抓取页面的我们来说，是痛苦的~由于目前的Web开发中AJAX、Javascript、CSS的大量使用，一些网站上的重要数据是由Ajax或Javascript动态生成的，并不能直接通过解析html页面内容就能获得（例如采用urllib2，mechanize、lxml、Beautiful Soup ）。要实现对这些页面数据的爬取，爬虫必须支持Javacript、DOM、HTML解析。比如

爬虫

ghost.py

python webkit

python ghost.py

原创推荐 2013-09-03 14:04:27 10000+阅读 18点赞 2收藏 28评论

关于Go语言在服务端做Restful接口和socket通信

请到我的个人博客看golang rest相关文章 http://xiaorui.cc关于Go语言在服务端做Restful接口和socket通信已经转到: http://xiaorui.cc/2014/10/25/%E5%85%B3%E4%BA%8Ego%E8%AF%AD%E8%A8%80%E5%9C%A8%E6%9C%8D%E5%8A%A1%E7%AB%AF%E5

golang

saltstack集群

go restfull

golang socket

go api

原创 2013-08-31 16:54:16 8009 阅读 3点赞 2评论

关于Golang语言的web编程的实例及常见问题

多核处理器越来越普及。有没有一种简单的办法，能够让我们写的软件释放多核的威力？是有的。随着Golang, Erlang, Scala等为并发设计的程序语言的兴起，新的并发模式逐渐清晰。正如过程式编程和面向对象一样，一个好的编程模式有一个极其简洁的内核，还有在此之上丰富的外延。可以解决现实世界中各种各样的问题。她的logo~Go语言的一个很大的优势就是内置了goroutine机制，使得开发者可以方便

go restful

go web api

golang restful

golang 并发

原创推荐 2013-08-29 15:50:40 10000+阅读 7点赞 2收藏 9评论

运维平台化Cobbler和ipmi实现自动化装机平台

Pxe运维平台：数据都是模拟的，勿当真！！！更多关于运维自动化的文章，请到 xiaorui.cc这段时间，去感受了下公司的pxe装机平台。这边的装机是二次开发过的，加了很多的自定义的模块。一说 pxe装机，大家觉得很简单的事，说来也确实是。。。但是我们经常会遇见些皮毛又让人蛋疼的事，尤其是批量装机后，让业务线验收的时候，我们要先ping主机，然后ssh测试下，raid配置检查下，初始化下。。。

运维平台

python ipmi

python pxe

自动化装机平台

saltstack cobbler

原创推荐 2013-08-22 13:22:03 10000+阅读 29点赞 1收藏 56评论

Javascript模板引擎handlebars使用实例及技巧

我们在开发的时候针对DOM操作，用简单的JS应用来说不成问题，但如果你对视图的每次更新都需要对我文档中非常大量的块进行操作呢？这时JS模版就派上用场了。源地址：http://rfyiamcool.blog.51cto.com/1030776/1278620这是一个实例，我们可以把json的数据，按照自己的想法嵌入到模板里面。 <!DOCTYPE html> <html>

handlebars

saltstack halite

python web开发

python 模板

原创推荐 2013-08-20 11:30:51 10000+阅读 2点赞 1评论

高性能框架gevent和gunicorn在web上的应用及性能测试

WSGI Server有哪些：比如 Flask，webpy，Django、CherryPy 都带着 WSGI server 。当然性能都不好，自带的web server 更多的是测试用途, 线上发布时，则使用高性能的 wsgi server或者是联合nginx做uwsgi 。诚如那个WSGI的定义所说的，协议定义了一套接口来实现服务器端与应用端通信的规范化（或者说是统一化）。这是怎样的一套接口呢？

python gevent

saltstack halite

python web框架

python uwsgi

python gunicorn

原创推荐 2013-08-19 13:46:08 10000+阅读 6点赞 8评论

关于Saltstack halite 配置管理及二次开发ui [原salt-ui]

saltstack官方有个web ui 叫 halite 一个在页面执行管理的ui。后端用的是saltstack api 补充saltstack api的相关文档：http://rfyiamcool.blog.51cto.com/1030776/1345518前段时间我一直在自己写ui，用flask和metro 。项

saltstack 二次开发

salt-ui

saltstack halite

saltstack api

原创推荐 2013-08-17 16:29:43 10000+阅读 18点赞 22评论

用python和redis开发高性能监控平台及框架升级过程

关于python应用监控平台的话题最近的更新：http://rfyiamcool.blog.51cto.com/1030776/1429847 先说明，这不是人人业务的监控框架，是我在以前公司参与的一个项目。。。刚入行的时候，对于监控方面，用的是nagios和cacti。两个都很强大的监控平台，可扩展性也都很不错。要是想用一个平台实现报警和性能信息的展示的话，他俩都需要加点东西。两个的合体可以考

python 监控平台

开发监控系统

监控平台开发

原创 2013-08-14 09:00:06 10000+阅读 10点赞 14评论

通过python和websocket构建实时通信系统[扩展saltstack监控]

先放一个小demo~用html5的websocket实现的聊天平台。后端用的是python bottle框架。后期要改成监控，可能要联合saltstack做实时的监控。像上篇博客说的那样，实时监控就那点东西，就是接收数据、显示数据。像下面这样：原文地址：http://rfyiamcool.blog.51cto.com/1030776/1269232WebSocket API是下一代客户端-服务器

python websocket

saltstack 高级

saltstack returners

websocket 实时监控

原创推荐 2013-08-10 10:47:45 10000+阅读 10点赞 1收藏 13评论

用Saltstack的modules和grains实现实时监控平台

有几个朋友一直问我，页面的实时监控咋做。他们在做idc节点的监控，我推荐用smokeping和zabbix接口的方式测试。但那哥们挺执着的，非要好看点的图表~关于运维业务的实时监控，我做过两套方案：第一种是用websocket的方式，这个时效性最强，也最快最及时。第二套用的是节点自己插入数据库，或者是通过接口插入到数据库，然后页面通过刷新来取出数据库里面的值，来渲染页面。。。。这两个都有点开发比较

saltstack modules

saltstack grains

saltstack 监控

saltstack pillar

saltstack api

原创 2013-08-08 01:47:23 10000+阅读 6点赞 9评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	软考资讯	汽车开发者社区

51CTO博客

峰云，就她了。

Mongodb千万级数据在python下的综合压力测试及应用探讨

python之高性能网络编程并发框架eventlet实例

基于python的REST框架eve测试与mongodb的数据操作

celery配合rabbitmq任务队列实现任务的异步调度执行[celery redis]

rabbitmq工作队列实现高性能任务的负载分发[python实例]

webdis实现Redis的http接口及多数据格式共享 [含json,restful]

高性能反向代理Apache Traffic Server配置小记 [ats cdn cache]

redis数据库事务处理及hash,list,set类型的python开发应用

在python中实现自定义配置文件解析及应用技巧[yaml and ConfigParser]

tornado实现异步计划任务及python常见计划任务方法

利用saltstack的salt-ssh进行集群管理【无客户端下】

测试比json更快更小的二进制数据传输格式Msgpack [pythono MessagePack 版本]

构建私有云平台cloudstack集群配置及不中断迁移测试

实现大屏幕全国监控各地流量和负载质量

实现线上高性能接口方案nginx负载tornado后端lua数据

使用Saltstack的ssh模块实现key的集中式管理 [salt.modules.ssh]

高性能tornado框架简单实现restful接口及运维开发实例

关于node.js的web框架的应用及并发性能测试

物理虚拟化服务器之间的KVM在线动态迁移

构建快速部署的python pip环境及pypi本地源环境

爬虫采集-基于webkit核心的客户端Ghost.py [爬虫实例]

关于Go语言在服务端做Restful接口和socket通信

关于Golang语言的web编程的实例及常见问题

运维平台化Cobbler和ipmi实现自动化装机平台

Javascript模板引擎handlebars使用实例及技巧

高性能框架gevent和gunicorn在web上的应用及性能测试

关于Saltstack halite 配置管理及二次开发ui [原salt-ui]

用python和redis开发高性能监控平台及框架升级过程

通过python和websocket构建实时通信系统[扩展saltstack监控]

用Saltstack的modules和grains实现实时监控平台