51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号

运维架构图之用前端简易实现集群框架图

前言：    今个群里有个哥们问我怎么实现一个集群的架构图，一说架构图，大家肯定想到的是用visio或者是亿图，但是动态的咋办？甚至说高端了点，不仅可以看到架构图，而且可以看到流量及负载的信息。　现在运维平台这么火热，大家恨不得把平台做全面点。　我以前做过一个机房展现图，有兴趣的朋友可以再以前的博客中找到。　运维平台化之IDC机柜拓扑及数据展现实现思路http://rfyiam

运维架构图
运维框架图
集群架构图
原创 推荐 2014-09-28 17:45:49 10000+阅读 3点赞 3评论

使用python的分布式任务队列huey实现任务的异步化

前言:    一个轻型的任务队列，功能和相关的broker没有celery强大，重在轻型，而且代码读起来也比较的简单。 这次算是原文的翻译了....  一开始看到这个东西的时候，想看看有没有中文的资料，能立马的入门，结果一看老外用的倒是挺多的，算了 既然是看文档，顺便也按照自己的意思翻译下把。 关于huey的介绍:  （比celery轻型

huey
python huey
python 任务队列
python celery
翻译 精选 2014-09-08 09:36:22 10000+阅读 4点赞 6评论

关于python multiprocessing进程通信的pipe和queue方式

这两天温故了python 的multiprocessing多进程模块，看到的pipe和queue这两种ipc方式，啥事ipc？ ipc就是进程间的通信模式，常用的一半是socke，rpc，pipe和消息队列等。 今个就再把pipe和queue搞搞。#coding:utf-8 import multiprocessing import time def pr

python multiprocessi
python pipe
原创 推荐 2014-09-08 01:11:58 10000+阅读 3点赞 3评论

python使用异步任务celery出现异常崩溃时retry重试

文章源地址，http://xiaorui.cc/?p=254

celery 异常
celery retry
python celery
原创 推荐 2014-09-02 22:38:50 8456 阅读 4点赞 4评论

用dockerfile配置生成docker image并实现容器部署

前言：       docker有个dockerfile 是什么东西，为什么我们要用他？ 简单的说：  以前咱们docker run创建一个docker容器，有时候会附带不少的参数。 比如:docker run -d -p 22 -p 8080:8080 ru

docker dockerfile
dockerfile
docker 部署
原创 推荐 2014-08-16 19:02:33 10000+阅读 4点赞 5评论

docker容器跨服务器的迁移方式export和save

原文在 xiaorui.cc

docker 备份
docker save
docker 迁移
原创 推荐 2014-08-15 12:08:14 9474 阅读 4点赞 8评论

使Docker提供对外服务的网络配置(桥接与端口)

前沿：        docker 启动容器后，如何对外服务？   希望大家看了这篇文章后有些帮助。 docker的有关网络问题没怎么搞清楚，请教了下邓磊同学，感谢 ！Docker生成的容器，一般会给你生成一个ip地址，这个ip地址是和docker0的地址是一个ip段的。通过ip a命令 ，咱们可以

docker 网络
docker 桥接
docker 网卡
原创 精选 2014-08-14 17:22:41 10000+阅读 6点赞 7评论

关于docker rest api接口组件docker remote api的使用

前提：     docker remote api 是docker自带的一个rest api 管理。     只要在配置文件里面申明下就可以了。下面是docker remote api的官方的功能目录：Docker Remote API v1.33.1 Inside ‘docker run’3.2 Hijacking3.3 CORS Re

docker api
docker remote api
原创 推荐 2014-08-13 22:42:52 10000+阅读 5点赞 3评论

使用python的docker-py实现docker的api操作

前沿：        听同事说，以后的dba申请可能有部分走其他部门的docker ，那边貌似在搞一个类似docker的平台管理系统，据说很霸道。于是乎，我自己也想尝试写一个简单的doker管理平台。  做为起步我先搞搞docker api，docker官网有个docker-py，用起来很是清爽简单。 有关docker的更多的文章，大家可

dcoker api
python docker
docker-py
原创 推荐 2014-08-13 15:50:57 10000+阅读 5点赞 7评论

关于gevent的协程间通信及队列和事件event用法

前言：    今天就写点gevent的高级点的用法，对于我来说 这些也是常用的gevent模块。gevent的AsyncResutl模块的用途，看字眼的意思是一个异步的任务的结果。 其实官方的说法也让人有些发蒙。  其实说白了就是协程间的通信，我是老板，让大哥和小弟同事去收账，小弟做完了后，会等大哥来问话。 如果小弟没有完成，还在做着事情，那大哥会

gevent queue
gevent event
gevent 事件
原创 推荐 2014-08-10 23:14:25 10000+阅读 4点赞 4评论

小计使用多线程和gevent来提高celery性能及稳定性

前言：      有朋友问我，我那个任务队列是怎么实现，他的疑问其实主要是celery不支持多线程。先说说我那实现的方法，其实我的做法和celery、rq这样的框架很像的，都是把任务push到队列里面，然后pull取出任务而已，celery里面还可以取任务，我这个是通过传送uuid来实现的。   朋友问celery不支持多线程，那是他没有好好看文档。cele

python celery
celery rabbitmq
celery 多线程
原创 推荐 2014-07-27 15:37:26 10000+阅读 5点赞 1收藏 4评论

ansible自定义lookup_plugins插件实现playbook扩展

前沿：      ansible的那几个插件都不错，现在咱们聊聊lookup plugins这个插件。 Lookup_plugins主要是用来实现扩展playbook里面各种的字符串和变量的扩展。对于我个人来说，用途不是太大，但是看了下官方提供的lookup_plugins的扩展列表，还是有些想法的。一开始使用lookup的时，遇到了一个问题，` lookup `里面

ansible lookup_plugi
ansible lookup
ansible 插件
原创 精选 2014-07-22 17:03:19 5175 阅读 5点赞 6评论

ansible调用callbacks插件实现结果nosql输出回调

前言：    ansible的结果默认是输出到cli终端和日志里面的，用惯了saltsatck的returners数据回调后，也很是喜欢ansible也有，一开始不知道有这个功能，自己也简单实现了这样的功能。我的实现方式是，在模块里面做一些输出的逻辑。当使用ansible runner api的时候，是在后面runner代码，最后加了一段往redis输出的逻

ansible callbacks
ansible plugins
asnible callbacks pl
原创 推荐 2014-07-20 22:49:38 10000+阅读 4点赞 1收藏 7评论

聊聊Python用rpc实现分布式系统调用的那些事

通俗的讲rpc是什么？rpc 一般俗称，远程过程调用，把本地的函数，放到远端去调用。通常我们调用一个方法，譬如: sumadd(10, 20)，sumadd方法的具体实现要么是用户自己定义，要么存在于该语言的库函数中，也就说在sumadd方法的代码实现在本地，它是一个本地调用！“远程调用”意思就是：被调用方法的具体实现不在程序运行本地，而是在别的某个地方（分布到各个服务器），但是用起来像是在本地。

xml
rpc
python
原创 推荐 2014-07-18 10:27:53 8774 阅读 5点赞 1收藏 5评论

监控报警开发之zabbix语音电话报警方案联想

文章已经转到 http://xiaorui.cc  个人博客里，欢迎浏览 !!!交流Python & Golang 可以加群 278517979  . 

zabbix 语音
语音报警
pagerduty
zabbix 自动语音
原创 推荐 2014-07-15 01:45:51 8543 阅读 9点赞 1收藏 4评论

使用monit规范的扩展业务的进程监控和管理

前言：     看到这个标题的人一定会很疑惑，进程监控和报警，不都是用zabbix，nagios么？  对于管理的话，自己写crontab脚本不就行了。 当然这肯定是可以的。 标题说了，规范和扩展！   所谓的进程监控就是 在进程不可用，或者是被kill掉，也有外因，比如进程吃内存大，需要重启进程，让他初始化程序的实例，简单说，就是进程pid是在，

monit
supervisord
god监控
god monit
原创 推荐 2014-07-13 15:04:21 3242 阅读 9点赞 9评论

Python运维项目中用到的redis经验及数据类型

先感叹下，学东西一定要活学活用！   我用redis也有几年的历史了，今个才想到把集合可以当python list用。  最近做了几个项目都掺杂了redis， 遇到了一些个问题和开发中提高性能的方法，这都分享出来，共同学习。下面先简单讲讲Redis集合的数据类型。Sets 就是一个集合，集合的概念就是一堆不重复值的组合。利用Redis提供的Sets数据结构，可以存储一些集合性的

python redis
redis 多线程
redis sadd
gevent redis
原创 推荐 2014-07-08 00:34:43 4318 阅读 10点赞 1收藏 7评论

关于saltstack mine自定义收集minion状态及应用场景

这两天有人问我saltstack 关于mine的主要应用场景和具体的用法，我翻了下自己一些写的关于saltstack的博客，还真没有mine的文章。。。 现在总结下mine的文档，供大家拍砖。mine是做什么？   就是你在mine定义了收集模块，他自己会把数据收集的，存到了哪里，不知道，但是肯定是客户端minino本地。有兴趣的朋友可以check saltstack的代码。这里先粘贴下

saltstack mine
salt mine
saltstact mine grain
saltstack pillar
原创 推荐 2014-07-03 11:02:09 6462 阅读 6点赞 1收藏 5评论

临时数据库之python用sqlite3模块操作sqlite

SQLite是一个包含在C库中的轻量级数据库。它并不需要独立的维护进程，并且允许使用非标准变体(nonstandard variant)的SQL查询语句来访问数据库。一些应用可是使用SQLite保存内部数据。它也可以在构建应用原型的时候使用，以便于以后转移到更大型的数据库。SQLite的主要优点：1. 一致性的文件格式：在SQLite的官方文档中是这样解释的，我们不要将SQLite与Oracle或

python sqlite
python sqlite3
python 数据库
原创 推荐 2014-07-01 17:56:12 2932 阅读 5点赞 1收藏 4评论

监控开发之用python扩展dstat插件自定义实时监控

    dstat是一个python开源的实时监控工具，一般是用来做系统性能监控的。咱们这里只是提他的自定义插件开发，用来打造自己的dstat。 有朋友可能还没清楚是什么意思， 咱们查看系统的状体状态有人喜欢用vmstat，也有人喜欢用dstat。        相比来说dstat的功能模

开发
dstat
监控开发
原创 推荐 2014-06-26 00:57:29 3439 阅读 3点赞 1收藏 6评论

监控开发之如何开发简单高性能扩展性强的监控系统

记得刚入行的时候，对于监控方面，用的是nagios和cacti，现在大多数中小公司好多都开始搞zabbix了，熟悉zabbix的人，知道他的性能的瓶颈其实主要还是在数据库上，尤其是zabbx_server 针对数据库一些不高效逻辑的查询和写入引起的。         同事针对zabbix开发也搞了半年了，和他

监控开发
开发运维监控
运维监控平台
原创 推荐 2014-06-23 16:13:53 6098 阅读 12点赞 1收藏 8评论

关于数据库自动化运维平台的设计及开发实现思路

今个讲解下，个人对于数据库运维自动化平台的理解，话说这个项目和我以前做的lvs集群平台一样，都是分成两个主要的角色，一个是对于普通用户的申请及权限内的执行，还有一个是对于dba的审核及相关的日常dba数据库操作。DBA其实也是很苦逼的，再高端的dba也是由苦逼开始的。如果你是苦逼的dba，那更要往下看了。因为工位紧张的缘故，我现在和一排的dba做在一起，见到了他们的高端，也见到了他们的苦逼。工作期

数据库自动化运维
dba 运维平台
mysql 运维平台
原创 推荐 2014-06-20 00:03:44 10000+阅读 15点赞 18评论

浅谈测试rhel7新功能时的感受及遇到的问题

半夜起来看世界杯，没啥激情，但是又怕错误意大利和英格兰的比赛，就看了rhel7相关新功能的介绍。    rhel7的下载地址： https://access.redhat.com/site/downloads/      安装还算顺利，安装的界面比以前简洁的多，很清爽，分类很是明确。     有些奇

rhel7
openlmi
centos7
systemed
原创 推荐 2014-06-15 12:28:07 5229 阅读 8点赞 13评论

监控开发之用munin来自定义插件监控redis和mongodb

求监控组的大哥大妹子们干点事，真不容易 ！ 要问他们是谁？  他们是神 。轻易别找他们，因为找了也是白找。  上次因为python和redis长时间brpop的时候，会有线程休眠挂起的情况，所有通知报警平台被下线了。这次算是完美解决了。再把他给上线。这两公司的告警已经开始往我这边的接口开始仍了。这边正在改zabbix cmdb的控制，所以暂时不能登录。等搞好了后，让他们搞下re

munin
munin 插件
munin 自定义
监控开发
原创 推荐 2014-06-13 17:46:21 2443 阅读 6点赞 9评论

用python做服务端时实现守候进程的那些方式

说说，需要做守候进程的时候，我是怎么进化高端的。（怎么高端，具体自己定义，我的土，说不定是你的高端）python deamon的思路:1.进程脱离父进程及终端绑定,如果不这样的话，主进程退出，派生的子进程也跟着倒霉了。脱离终端也是这个理。2.进程唯一性保证，这是废话3.标准输入/输出/错误重定向，为了不让错误打到前面，又为了更好的分析数据。说的洋气点、nb点、细化点（其实就os的三个动作）：os.

python 守候进程
python daemon
python fork
原创 推荐 2014-06-10 23:57:46 5500 阅读 3点赞 2评论

平台化之利用ansible api接口的async使任务异步

今个也不前言了，直接切入主题 ！请大家多关注下我的个人博客，http://xiaorui.cc 同事在做一个关于方便的批量上线初始化的平台，其实我真不想说平台两个字，啥都平台，显得有些不时尚了 。 ansible是个好东西，只是上线打包初始化的任务太耗时间，经常是20分钟左右。这时候需要异步的执行，对于ansible来说，客户端把消耗时间的任务通过signal信号来处理，把结果扔到以jid为文件名

ansible api
ansible async
ansible web
ansible ui
原创 推荐 2014-06-05 00:23:49 10000+阅读 6点赞 6评论

使用kibana和elasticsearch日志实时绘制图表

前言：       此文接的是上篇，上次的内容是，用python操作elasticsearch存储，实现数据的插入和查询。  估计有些人一看我的标题，以为肯定是 logstash kibana elasticsearch的组合。这三个家伙也确实总是勾搭在一块。 其实logstash是可以被别的替换，比如常见的fluented 。剩下的那两个，kib

kibana elasticsearch
elasticsearch kibana
运维日志分析
原创 推荐 2014-06-02 02:05:49 10000+阅读 9点赞 1收藏 10评论

saltstack event配合websocket客户端实时推送结果

前沿：        以前都是调取一个url的接口，把结果post过去，然后接收post请求的那个函数，会把结果send到指定的websocket客户端，也可以是所有的websocket客户端。但总是觉得频繁的调用url，然后再send，觉得有些多此一举，还不如用python websocket client直接链接w

saltstack event
saltstack 实时
原创 推荐 2014-05-28 10:37:10 3766 阅读 8点赞 7评论

ansible通过cmdb资产接口动态创建hosts列表

前言：        在自动化、批量化操作主机的时候，有时候咱们需要定义主机组。 比如，saltstack的group组，及salt -N参数 ，在ansible下的自己搞定ansible的主机组。有些麻烦，要知道，你既然选择了用saltstack、ansible这类的集群操作工具，如果你再选择把几

ansible hosts
ansible inventory
ansible cmdb
原创 推荐 2014-05-25 11:24:01 10000+阅读 10点赞 8评论

利用ansible modules模块来自定义集群管理

前沿：   在一些个特定环境下，用ansible做集群管理还是很棒的，这两天看了他的模块，官方提供了很多，就算不够，你也可以自定义定制。 话说我挺喜欢他的modules模块的，够直接 ！！！  我这里就说些常见的ansible的modules吧。下面的ansible service一看大家就懂了，就是服务状态的管理模块[root@devops-ruifengyun&n

ansible 自定义
ansible modules
ansible 模块
原创 推荐 2014-05-20 23:51:41 6895 阅读 4点赞 1收藏 4评论
  • 1
  • 2
  • 3
  • 4

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
开源基础软件社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区