屌丝运维男-51CTO博客

屌丝运维男

243W+
人气
211
文章
1
关注
96
粉丝

推荐博客

关注私信

原创 181
翻译 1
转载 29
评论 377
点赞 273

分享：

全部

原创
51CTO停更啦置顶
0

在51CTO上写文章已经8个年头了，截止目前我写了210篇文章，发表了384个评论，收到了371个评论，共有1374770人访问，229w+人气，感谢大家对我的支持和认可，从今天开始我尝试换一个写作平台，依然会定期总结我工作的点滴，给大家分享我在工作中遇到的一些问题和总结，下面是我的微信公众号，欢迎大家关注！

navyaijm2012 发布于：2020-08-02

阅读 451

评论 2

收藏 0
原创
playbook自动安装kafka集群置顶
3

一、环境说明1、服务器信息172.21.184.43kafka、zk172.21.184.44kafka、zk172.21.184.45kafka、zk172.21.244.7ansible2、软件版本信息系统：CentOSLinuxrelease7.5.1804(Core)kafka：kafka_2.11-2.2.0zk：Zookeeperversion:3.4.8ansible：ansible

navyaijm2012 发布于：2019-08-16

阅读 6388

评论 0

收藏 0
原创
Mongodb性能压测置顶
0

一、背景这几天对所有的基础组件做一个摸底的基准压力测试，目前我们所有的开源基础组件都没有做过性能测试，经常有开发人员问，我们的RDS、MongoDB集群能抗多大量呀，这个时候我是没办法回复的，因为我自己也不知道，虽然一个数据库集群能抗多大量，在软件、硬件配置固定的情况下，和业务场景有很大的关系，如果数据量小，查询SQL简单那吞吐量自然很高，如果数据量特别大并且都是复杂SQL，那吞吐量自然上不去；但

navyaijm2012 发布于：2019-07-20

阅读 9553

评论 3

收藏 1
原创
Redis异构集群数据实时迁移置顶
1

背景由于历史原因，公司的缓存方案使用的是Codis，并且一个大部门公用一个集群，我们计划废弃Codis，用Redis原生的集群架构，为什么要废弃Codis呢，主要有两个原因：1、Codis官方已经很久没有更新维护了，Redis官方版本已经迭代到5.x.x了，codis-server还是3.x.x，Redis的一些新特性无法支持；2、基于风险均摊、鸡蛋不放一个篮子的原则，目前我们这样的用法违背了这一

navyaijm2012 发布于：2019-07-07

阅读 2576

评论 2

收藏 0

赞赏 1
原创
RocketMQ企业级部署方案置顶
1

集群部署规划整个集群分三层，分别是应用接入层、Nameserver集群和Broker集群，下面分别对这三部分说明：接入层接入层其实就是应用连接MQ集群的地址，目前生产环境我们是直接连接了nameserver的IP地址，如果nameserver扩容或者换服务器了，大家需要修改apollo并且重启服务更新新的nameserver地址，虽然这个事情的几率比较低，但是如果发生了还是比较麻烦，所有我们新的接

navyaijm2012 发布于：2019-06-30

阅读 2427

评论 0

收藏 0
原创
etcd集群备份恢复置顶
1

一、备份此备份方式是借助etcd的snapshot功能做备份，需要时可以把etcd集群回滚到具体备份的时间点，此备份是基于etcdapi3版本的备份，如果数据是用api2版本写入的，则api2版本写入的数据无法恢复1、备份ETCDCTL_API=3etcdctl--endpoints="https://192.168.9.89:2379"--cert=/etc/etcd/ssl

navyaijm2012 发布于：2019-05-24

阅读 2049

评论 0

收藏 0
原创
MongoDB分片集群部署置顶
0

我们prod环境MongoDB的集群架构是做的分片集群的部署，但是目前我们没有分片，即所有数据都在一个分片上，后期如果数量大，需要分配，集群随时可以分片，对业务方透明

navyaijm2012 发布于：2019-05-11

阅读 2959

评论 0

收藏 0
原创
rocketmq集群部署（多master多slave异步）置顶
2

一、最近公司在做队列的技术选型，经过调研，决定使用rocketmq作为整个架构的队列层，我们之前的公司是用RabbitMQ，集群部署参考我之前的文章：RabbitMQ集群部署；rocketmq集群由NameServer和Broker两种角色组成，NameServer是无状态的可以横向部署多台达到消除单点的目的；Broker分多master、多master多slave同步、多master多slave

navyaijm2012 发布于：2018-03-15

阅读 10000+

评论 1

收藏 1
原创
阿里云互通AWS全球region解决方案置顶
7

一、背景说明我们公司是做全球化业务的公司，在中国我们用的阿里云，在海外我们使用AWS，中国访问海外的IDC资源，这是最基本的需求之一，在运维层面，领导要求一套平台实现全球管理，也就是说我们的监控、发布、跳板机等等所有运维工具只部署一套，再加上我们每个region有三个VPC，VPC之间默认是隔离的，我们在海外目前有两个region，也就是6个VPC，如果要从国内阿里云拉专线到海外，实现访问海外所有

navyaijm2012 发布于：2018-01-08

阅读 10000+

评论 7

收藏 3
原创
ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction解决置顶
2

一、问题描述：同事反馈线上一个表有其中一条数据无法删除，其他都正常，我拿到删数据的sql，尝试执行，报错如下：mysql> delete from facebook_posts where id = 7048962; ERROR 1205 (HY000):&nbs

navyaijm2012 发布于：2017-08-15

阅读 10000+

评论 0

收藏 0
原创
kafka节点假死置顶
1

一、前言早上醒来打开微信，同事反馈kafka集群从昨天凌晨开始写入频繁失败，赶紧打开电脑查看了kafka集群的机器监控，日志信息，发现其中一个节点的集群负载从昨天凌晨突然掉下来了，和同事反馈的时间点大概一致，于是乎就登录服务器开始干活。二、排错1、查看机器监控，看是否能大概定位是哪个节点有异常2、根据机器监控大概定位到其中一个异常节点，登录服务器查看

navyaijm2012 发布于：2017-06-03

阅读 7082

评论 1

收藏 1
原创
Spark on Yarn 安装配置置顶
2

1、说明这篇文章是在xxx基础上进行部署的，需要hadoop的相关配置和依赖等等，Spark on Yarn的模式，Spark安装配置好即可，在Yarn集群的所有节点安装并同步配置，在无需启动服务，没有master、slave之分，Spark提交任务给Yarn，由ResourceManager做任务调度。2、安装yum -y install spark-core&nb

navyaijm2012 发布于：2017-05-12

阅读 10000+

评论 1

收藏 0
原创
Hadoop集群部署实战(cdh发行版) 置顶
4

一、概要由于工作需要，最近一段时间开始接触学习hadoop相关的东西，目前公司的实时任务和离线任务都跑在一个hadoop集群，离线任务的特点就是每天定时跑，任务跑完了资源就空闲了，为了合理的利用资源，我们打算在搭一个集群用于跑离线任务，计算节点和储存节点分离，计算节点结合aws的Auto Scaling（自动扩容、缩容服务）以及竞价实例，动态调整，在跑任务的

navyaijm2012 发布于：2017-05-11

阅读 10000+

评论 5

收藏 3
原创
hbase高可用集群部署（cdh）置顶
1

一、概要本文记录hbase高可用集群部署过程，在部署hbase之前需要事先部署好hadoop集群，因为hbase的数据需要存放在hdfs上，hadoop集群的部署后续会有一篇文章记录，本文假设hadoop集群已经部署好，分布式hbase集群需要依赖zk，并且zk可以是hbase自己托管的也可以是我们自己单独搭建的，这里我们使用自己单独搭建的zk集群，

navyaijm2012 发布于：2017-05-10

阅读 10000+

评论 0

收藏 1
原创
RabbitMQ集群荐置顶
3

一、前言线上的 RabbitMQ用的是单节点，前段时间由于机器内存不足，发生了OOM，业务受到了影响，故打算换成 RabbitMQ集群。RabbitMQ模式有三种，分别是：单一模式、普通模式、镜像模式，镜像模式才是RabbitMQ真正的HA方案，关于更详细的简绍，请移步到官网：http://www.rabbitmq.com/ha.html ，下面是

navyaijm2012 发布于：2017-03-28

阅读 10000+

评论 0

收藏 5
原创
redis集群实战荐置顶
29

一、说明 redis 3.0集群功能出来已经有一段时间了，目前最新稳定版是3.0.5，我了解到已经有很多互联网公司在生产环境使用，比如唯品会、美团等等，刚好公司有个新项目，预估的量单机redis无法满足，开发又不想在代码层面做拆分，所以就推荐他们尝试一下redis集群，下面做了一些相关笔记，以备后用二、环境1、redis节点10.10.2.70:6300 &nb

navyaijm2012 发布于：2015-10-27

阅读 10000+

评论 26

收藏 7
原创
bind主从配置置顶
2

一、环境1、系统版本CentOS release 6.5 (Final)2、软件版本bind-libs-9.8.2-0.37.rc1.el6.x86_64bind-9.8.2-0.37.rc1.el6.x86_64 bind-utils-9.8.2-0.37.rc1.el6.x86_643、地址10.10.66.121 主 10.10.66.12

navyaijm2012 发布于：2015-09-25

阅读 4467

评论 0

收藏 1
原创
mongdb备份恢复荐置顶
1

一、物理备份（拷贝文件）#!/bin/sh DATE=`date +%Y%m%d` DEL_DATE=$(date -d '-30 days' "+%Y%m%d") HOST=10.10.17.27 PORT=27000 USER=admin PASSWORD=123456 DATA_DIR="/data/mongodb/navy_db/db" B

navyaijm2012 发布于：2015-08-20

阅读 2756

评论 0

收藏 2
原创
mongodb用户权限管理置顶
1

1、添加一个管理账号mongo --host 127.0.0.1 --port 27000 use admin db.addUser('admin','123456')2、通过账号登陆mongo --host 127.0.0.1 --port 27000 -u ad

navyaijm2012 发布于：2015-08-17

阅读 695

评论 0

收藏 0
原创
mongdb 复制集+仲裁（带权限认证）荐置顶
5

一、环境1、架构图2、部署详细10.10.17.26:27000 （primary） 10.10.17.27:27000 （secondary） 10.10.2.74:27000 （arbiter）3、软件版本mongdb ：2.6.11 系统：centos 6.6二、安装配置1、安装见mongodb安装2、撰写

navyaijm2012 发布于：2015-08-17

阅读 6754

评论 2

收藏 0
原创
mongodb安装置顶
0

1、配置yum源vim /etc/yum.repos.d/CentOS-Base.repo [mongodb-org-2.6] name=MongoDB 2.6 Repository baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/ gpgcheck=0 enabled=1

navyaijm2012 发布于：2015-08-17

阅读 1419

评论 0

收藏 0
原创
codis集群部署实战荐置顶
18

折腾codis集群已经快两个月了，感谢一直以来codis的作者刘奇和黄东旭的耐心支持，在这里给你们点个赞，现在我司已经有一个业务跑在了codis集群上，目前只是切了整个业务的10%的量，预计下周会全量切到codis上，这个时候大家肯定特别想知道codis稳定吗？有没有什么bug啊，你想知道的也是我想知道的，搞起吧，用了才知道，反正目前我们这没发现啥问题，一些小的问题已经及时联系作者改掉了，好吧，不扯淡了，写这篇文章的目的是帮助想了解codis的初学者快速部署（官方的部署文档对应运维知识弱一点的童鞋看来还是有点费力）还有就是给自己做一个备录以便后期集群的部署

navyaijm2012 发布于：2015-04-23

阅读 10000+

评论 20

收藏 5
原创
3proxy+nginx实现sock5爬虫代理置顶
2

sock5实现单一代理入口，通过多IP随机出访，适用于各种爬虫、反防刷，节前最后一篇文章，废话少说，走起！！！软件下载cd /usr/local/src wget "http://3proxy.ru/0.7.1.1/3proxy-0.7.1.1.tgz" wget "http://nginx.org/download/nginx-1.4.4.tar.gz" wget&

navyaijm2012 发布于：2015-02-15

阅读 10000+

评论 1

收藏 0
原创
LVS（DR模式）的realserver配置（windows）置顶
0

1. 创建windows环回网卡创建windows环回网卡的方法2. 设置环回网卡IP地址 IP地址: vip地址子网掩码: 255.255.255.2553. 修改客户端网卡接口、环回接口连接模式（至关重要） &

navyaijm2012 发布于：2014-10-30

阅读 4226

评论 0

收藏 0
原创
Flashcache初次体验荐置顶
2

一、简介Flashcache 是为Linux操作系统开发的块设备回写缓存内核模块，使用了Device Mapper的方式实现，具体用途就是通过flashcache模块用ssd加速sas盘的读写性能，提供sas盘的IOPS，此模块由Facebook开源，源代码地址：https://github.com/facebook/flashcache二、环境说明1、内核版本要求（官方载录）Flashcache

navyaijm2012 发布于：2014-10-24

阅读 10000+

评论 4

收藏 0
原创
RAID10和RAID5性能测试对比置顶
4

一、环境1、软件系统版本：CentOS release 6.5 (Final)内核版本：2.6.32-431.20.3.el6.x86_642、硬件CPU：CPU E5-2620 24核内存：8G*8硬盘：300G*24、300G*14、300G*10（10k转）二、测试数据三、总结结论：

navyaijm2012 发布于：2014-10-17

阅读 10000+

评论 8

收藏 2
原创
saltstack maser HA 置顶
0

一、最近一直在忙数据库平台测试的事情，预测国庆之后就能上线，好激动，不过还有点担心啊，所有功能都依靠这个平台，包括数据库的基本操作、权限管理、迁移、监控、报警等等，平台如果挂了，天就塌了，所以我把平台的所有组件都搞成HA了，本文记录一下saltstack maser的 HA，官网有一些相关的介绍，不过看的不是很明白，折腾了几次都不行，也是RP问题吧，所以就自己简单的总结一下步骤吧。二、环

navyaijm2012 发布于：2014-09-25

阅读 1781

评论 0

收藏 0
原创
Xtrabackup备份mysql实战（做从库全过程）荐置顶
9

一、背景线上的一个库一直都是RD他们自己维护的，由于业务的增长，现在数据已经500G+了，急需做一个从库，登陆机器一瞅，坑爹啊，还是mysql5.6（我们维护的都是5.5），mysql5.6还没有搞过呢，还有就是他这安装的都不是按我们运维的标准安装的，我的第一反应就是这活没法干，这个库又不容许停库太长时间，于是就度娘、QQ群各种请教，最终确定用Xtrabackup试一把，一直在听大家说Xtraba

navyaijm2012 发布于：2014-06-04

阅读 6717

评论 2

收藏 1
原创
LVS集群部署详细过程（LVS+OSPF）荐置顶
22

一、前言 2013年下半年大部时候都用在LVS实施上面了，一路摸爬滚打走来，遇到各种问题，感谢同事们对我的帮助和指导，感谢领导对我的信任，本文总结一下lvs集群（ospf+fullnat）的详细部署情况以及需要注意的问题点，先大概说一下LVS在我们公司的应用情况吧，LVS在我们公司走过了以下三个阶段：阶段

navyaijm2012 发布于：2013-12-28

阅读 10000+

评论 46

收藏 3
原创
初试tcpcopy 荐置顶
4

一、tcpcopy这个软件第一次听说还是在9月份的系统架构师大会上听说的，可一直没时间折腾，前几天弄了一套环境想体验一把，没想到第一次就各种不顺利，在这里特别感谢作者@王斌的细心指导排查，最后找到了问题辅助服务器上开启了路由功能（net.ipv4.ip_forward = 0），真是太坑爹了，tcpcopy的相关介绍请看tcpcopy的介绍、功能，tcpcopy分为tcpcop

navyaijm2012 发布于：2013-12-15

阅读 10000+

评论 10

收藏 1

首页
上一页
1
2
3
4
5
6
7
8
下一页
末页
共211条记录

navyaijm2012

分享到朋友圈

https://mp.weixin.qq

关注技术：数据恢复 Vmware Linux
入住博客：2012-03-18 8.9年

七日热门: 一款优秀的 SDK 接口设计十大原则; 一波爬虫，直接把年终奖干没了; 一文读懂 Kubernetes APIServer 原理; WebRTC 的现状和未来：专访 W3C WebRTC Chair Bernard Aboba; 数据结构之集合和映射

最新文章: 51CTO停更啦; Tidb性能对比（v3.0.12 VS v4.0.0-rc）; playbook自动安装kafka集群; Mongodb性能压测; Redis异构集群数据实时迁移

最新评论: 51CTO停更啦

navyaijm2012：可以的; Tidb性能对比（v3.0.12 VS v4.0.0-rc）

navyaijm2012：官网有对比呢; Mongodb性能压测

wx5fd6be98178ba：666666666; Redis异构集群数据实时迁移

navyaijm2012：超哥牛逼啊; rocketmq集群部署（多master多slave异步）

zhugeaming：顶，互相多学习！

热门文章: Mongodb性能压测; playbook自动安装kafka集群; Tidb性能对比（v3.0.12 VS v4.0.0-rc）; MongoDB分片集群部署; Redis异构集群数据实时迁移

最近来访

写文章