51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
智能汽车
开源基础软件社区
WOT全球技术创新大会
移动端
公众号矩阵
博客
免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2022年软考 PMP项目管理
在线学习 企业服务
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 开源课堂 专栏 直播

51CTO停更啦

在51CTO上写文章已经8个年头了，截止目前我写了210篇文章，发表了384个评论，收到了371个评论，共有1374770人访问，229w+人气，感谢大家对我的支持和认可，从今天开始我尝试换一个写作平台，依然会定期总结我工作的点滴，给大家分享我在工作中遇到的一些问题和总结，下面是我的微信公众号，欢迎大家关注！

微信公众号
更换写作平台
置顶 原创 2020-08-02 10:27:57 1169 阅读 5评论

playbook自动安装kafka集群

一、环境说明1、服务器信息172.21.184.43kafka、zk172.21.184.44kafka、zk172.21.184.45kafka、zk172.21.244.7ansible2、软件版本信息系统：CentOSLinuxrelease7.5.1804(Core)kafka：kafka_2.11-2.2.0zk：Zookeeperversion:3.4.8ansible：ansible

playbook自动安装kafka集群
playbook
自动安装kafka集群
置顶 原创 精选 2019-08-16 08:23:57 10000+阅读 3点赞

Mongodb性能压测

一、背景这几天对所有的基础组件做一个摸底的基准压力测试，目前我们所有的开源基础组件都没有做过性能测试，经常有开发人员问，我们的RDS、MongoDB集群能抗多大量呀，这个时候我是没办法回复的，因为我自己也不知道，虽然一个数据库集群能抗多大量，在软件、硬件配置固定的情况下，和业务场景有很大的关系，如果数据量小，查询SQL简单那吞吐量自然很高，如果数据量特别大并且都是复杂SQL，那吞吐量自然上不去；但

Mongodb压测
Mongodb基准压测
Mongodb性能测试
置顶 原创 精选 2019-07-20 14:40:30 10000+阅读 1收藏 3评论

Redis异构集群数据实时迁移

背景由于历史原因，公司的缓存方案使用的是Codis，并且一个大部门公用一个集群，我们计划废弃Codis，用Redis原生的集群架构，为什么要废弃Codis呢，主要有两个原因：1、Codis官方已经很久没有更新维护了，Redis官方版本已经迭代到5.x.x了，codis-server还是3.x.x，Redis的一些新特性无法支持；2、基于风险均摊、鸡蛋不放一个篮子的原则，目前我们这样的用法违背了这一

Redis异构集群数据实时迁移
Codis数据迁移
Redis集群数据迁移
哨兵集群数据实时同步
置顶 原创 2019-07-07 10:01:16 3899 阅读 1点赞 2评论

RocketMQ企业级部署方案

集群部署规划整个集群分三层，分别是应用接入层、Nameserver集群和Broker集群，下面分别对这三部分说明：接入层接入层其实就是应用连接MQ集群的地址，目前生产环境我们是直接连接了nameserver的IP地址，如果nameserver扩容或者换服务器了，大家需要修改apollo并且重启服务更新新的nameserver地址，虽然这个事情的几率比较低，但是如果发生了还是比较麻烦，所有我们新的接

RocketMQ
MQ
RocketMQ高可用
MQ集群
置顶 原创 2019-06-30 10:14:06 3618 阅读 1点赞

etcd集群备份恢复

一、备份此备份方式是借助etcd的snapshot功能做备份，需要时可以把etcd集群回滚到具体备份的时间点，此备份是基于etcdapi3版本的备份，如果数据是用api2版本写入的，则api2版本写入的数据无法恢复1、备份ETCDCTL_API=3etcdctl--endpoints="https://192.168.9.89:2379"--cert=/etc/etcd/ssl

etc etcd集群 etcd备份
置顶 原创 2019-05-24 08:31:05 3992 阅读 1点赞

MongoDB分片集群部署

我们prod环境MongoDB的集群架构是做的分片集群的部署，但是目前我们没有分片，即所有数据都在一个分片上，后期如果数量大，需要分配，集群随时可以分片，对业务方透明

MongoDB
MongoDB集群 分片集群
置顶 原创 精选 2019-05-11 13:23:43 4002 阅读

rocketmq集群部署（多master多slave异步）

一、最近公司在做队列的技术选型，经过调研，决定使用rocketmq作为整个架构的队列层，我们之前的公司是用RabbitMQ，集群部署参考我之前的文章：RabbitMQ集群部署；rocketmq集群由NameServer和Broker两种角色组成，NameServer是无状态的可以横向部署多台达到消除单点的目的；Broker分多master、多master多slave同步、多master多slave

rocketmq
集群
rocketmq
置顶 原创 精选 2018-03-15 19:28:40 10000+阅读 2点赞 1收藏 1评论

阿里云互通AWS全球region解决方案

一、背景说明我们公司是做全球化业务的公司，在中国我们用的阿里云，在海外我们使用AWS，中国访问海外的IDC资源，这是最基本的需求之一，在运维层面，领导要求一套平台实现全球管理，也就是说我们的监控、发布、跳板机等等所有运维工具只部署一套，再加上我们每个region有三个VPC，VPC之间默认是隔离的，我们在海外目前有两个region，也就是6个VPC，如果要从国内阿里云拉专线到海外，实现访问海外所有

直连网关
vgw
DXGW
置顶 原创 精选 2018-01-08 16:05:47 10000+阅读 7点赞 3收藏 8评论

ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction解决

一、问题描述：     同事反馈线上一个表有其中一条数据无法删除，其他都正常，我拿到删数据的sql，尝试执行，报错如下：mysql> delete from facebook_posts where id = 7048962; ERROR 1205 (HY000):&nbs

mysql
wait
Lock
置顶 原创 精选 2017-08-15 19:51:36 10000+阅读 3点赞 1评论

kafka节点假死

一、前言    早上醒来打开微信，同事反馈kafka集群从昨天凌晨开始写入频繁失败，赶紧打开电脑查看了kafka集群的机器监控，日志信息，发现其中一个节点的集群负载从昨天凌晨突然掉下来了，和同事反馈的时间点大概一致，于是乎就登录服务器开始干活。二、排错1、查看机器监控，看是否能大概定位是哪个节点有异常2、根据机器监控大概定位到其中一个异常节点，登录服务器查看

集群
大数据
kafka
置顶 原创 2017-06-03 18:02:52 8872 阅读 1点赞 2收藏 1评论

Spark on Yarn 安装配置

1、说明这篇文章是在xxx基础上进行部署的，需要hadoop的相关配置和依赖等等，Spark on Yarn的模式，Spark安装配置好即可，在Yarn集群的所有节点安装并同步配置，在无需启动服务，没有master、slave之分，Spark提交任务给Yarn，由ResourceManager做任务调度。2、安装yum -y install spark-core&nb

集群
master
Spark
置顶 原创 2017-05-12 08:36:43 10000+阅读 2点赞 1评论

Hadoop集群部署实战(cdh发行版)

一、概要     由于工作需要，最近一段时间开始接触学习hadoop相关的东西，目前公司的实时任务和离线任务都跑在一个hadoop集群，离线任务的特点就是每天定时跑，任务跑完了资源就空闲了，为了合理的利用资源，我们打算在搭一个集群用于跑离线任务，计算节点和储存节点分离，计算节点结合aws的Auto Scaling（自动扩容、缩容服务）以及竞价实例，动态调整，在跑任务的

yum
hadoop
置顶 原创 精选 2017-05-11 18:08:06 10000+阅读 4点赞 3收藏 5评论

hbase高可用集群部署（cdh）

一、概要    本文记录hbase高可用集群部署过程，在部署hbase之前需要事先部署好hadoop集群，因为hbase的数据需要存放在hdfs上，hadoop集群的部署后续会有一篇文章记录，本文假设hadoop集群已经部署好，分布式hbase集群需要依赖zk，并且zk可以是hbase自己托管的也可以是我们自己单独搭建的，这里我们使用自己单独搭建的zk集群，

集群
hbase
置顶 原创 精选 2017-05-10 16:33:18 10000+阅读 2点赞 1收藏

RabbitMQ集群

一、前言     线上的 RabbitMQ用的是单节点，前段时间由于机器内存不足，发生了OOM，业务受到了影响，故打算换成 RabbitMQ集群。RabbitMQ模式有三种，分别是：单一模式、普通模式、镜像模式，镜像模式才是RabbitMQ真正的HA方案，关于更详细的简绍，请移步到官网：http://www.rabbitmq.com/ha.html ，下面是

集群
RabbitMQ
置顶 原创 推荐 2017-03-28 16:30:37 10000+阅读 3点赞 5收藏

redis高可用架构

一、背景   公司的业务在大量的使用redis，访问量大的业务我们有在使用codis集群，redis 3.0集群，说到redis 3.0集群，我们线上已经跑了半年多了，集群本身没有出现过任务问题，但是由于我们这个业务是海外的，集群建在aws的ec2上，由于ec2的网络抖动或者ec2本身的原因，导致主从切换，目前aws的技术正在跟进，这个集群目前的QPS 50w+，集群本身已经做

高可用
redis
Sentinel
置顶 原创 推荐 2016-02-27 16:35:59 10000+阅读 16点赞 9收藏 32评论

redis集群实战

一、说明    redis 3.0集群功能出来已经有一段时间了，目前最新稳定版是3.0.5，我了解到已经有很多互联网公司在生产环境使用，比如唯品会、美团等等，刚好公司有个新项目，预估的量单机redis无法满足，开发又不想在代码层面做拆分，所以就推荐他们尝试一下redis集群，下面做了一些相关笔记，以备后用二、环境1、redis节点10.10.2.70:6300 &nb

redis集群 redis 集群维护
置顶 原创 推荐 2015-10-27 12:15:12 10000+阅读 29点赞 7收藏 26评论

bind主从配置

一、环境1、系统版本CentOS release 6.5 (Final)2、软件版本bind-libs-9.8.2-0.37.rc1.el6.x86_64bind-9.8.2-0.37.rc1.el6.x86_64 bind-utils-9.8.2-0.37.rc1.el6.x86_643、地址10.10.66.121  主 10.10.66.12

bind dns主从 bind主从
置顶 原创 2015-09-25 18:02:55 5581 阅读 2点赞 1收藏

mongdb备份恢复

一、物理备份（拷贝文件）#!/bin/sh DATE=`date +%Y%m%d` DEL_DATE=$(date -d '-30 days' "+%Y%m%d") HOST=10.10.17.27 PORT=27000 USER=admin PASSWORD=123456 DATA_DIR="/data/mongodb/navy_db/db" B

mongdb备份恢复 复制集 Mongd
置顶 原创 推荐 2015-08-20 09:21:00 3967 阅读 1点赞 2收藏

mongodb用户权限管理

1、添加一个管理账号mongo --host 127.0.0.1 --port  27000 use admin db.addUser('admin','123456')2、通过账号登陆mongo --host 127.0.0.1 --port  27000 -u ad

mongodb用户权限管理 权限 用户
置顶 原创 2015-08-17 19:54:15 972 阅读 1点赞

mongdb 复制集+仲裁（带权限认证）

一、环境1、架构图2、部署详细10.10.17.26:27000 （primary） 10.10.17.27:27000 （secondary） 10.10.2.74:27000    （arbiter）3、软件版本mongdb ：2.6.11 系统：centos 6.6二、安装配置1、安装见mongodb安装2、撰写

mongdb 复制集+仲裁（带权限认证）
置顶 原创 推荐 2015-08-17 20:04:20 7435 阅读 5点赞 2评论

mongodb安装

1、配置yum源vim /etc/yum.repos.d/CentOS-Base.repo [mongodb-org-2.6] name=MongoDB 2.6 Repository baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/ gpgcheck=0 enabled=1 

mongodb安装 mongodb
置顶 原创 2015-08-17 19:51:19 1775 阅读

codis集群部署实战

折腾codis集群已经快两个月了，感谢一直以来codis的作者刘奇和黄东旭的耐心支持，在这里给你们点个赞，现在我司已经有一个业务跑在了codis集群上，目前只是切了整个业务的10%的量，预计下周会全量切到codis上，这个时候大家肯定特别想知道codis稳定吗？有没有什么bug啊，你想知道的也是我想知道的，搞起吧，用了才知道，反正目前我们这没发现啥问题，一些小的问题已经及时联系作者改掉了，好吧，不扯淡了，写这篇文章的目的是帮助想了解codis的初学者快速部署（官方的部署文档对应运维知识弱一点的童鞋看来还是有点费力）还有就是给自己做一个备录以便后期集群的部署

redis
redis 3.0
codis集群
置顶 原创 推荐 2015-04-23 18:12:01 10000+阅读 18点赞 5收藏 20评论

3proxy+nginx实现sock5爬虫代理

sock5实现单一代理入口，通过多IP随机出访，适用于各种爬虫、反防刷，节前最后一篇文章，废话少说，走起！！！软件下载cd /usr/local/src wget "http://3proxy.ru/0.7.1.1/3proxy-0.7.1.1.tgz" wget "http://nginx.org/download/nginx-1.4.4.tar.gz" wget&

nginx
sock5
3proxy
爬虫代理
置顶 原创 精选 2015-02-15 12:08:51 10000+阅读 2点赞 1评论

LVS（DR模式）的realserver配置（windows）

1. 创建windows环回网卡创建windows环回网卡的方法2. 设置环回网卡IP地址    IP地址:    vip地址     子网掩码: 255.255.255.2553. 修改客户端网卡接口、环回接口连接模式（至关重要）   &

LVS
windows
置顶 原创 2014-10-30 19:52:41 5196 阅读

Flashcache初次体验

一、简介Flashcache 是为Linux操作系统开发的块设备回写缓存内核模块，使用了Device Mapper的方式实现，具体用途就是通过flashcache模块用ssd加速sas盘的读写性能，提供sas盘的IOPS，此模块由Facebook开源，源代码地址：https://github.com/facebook/flashcache二、环境说明1、内核版本要求（官方载录）Flashcache

Flashcache 混合存储 磁盘
置顶 原创 推荐 2014-10-24 17:59:31 10000+阅读 2点赞 4评论

RAID10和RAID5性能测试对比

一、环境1、软件系统版本：CentOS release 6.5 (Final)内核版本：2.6.32-431.20.3.el6.x86_642、硬件CPU：CPU E5-2620 24核内存：8G*8硬盘：300G*24、300G*14、300G*10（10k转） 二、测试数据三、总结结论：          

RAID5
RAID10
raid5
性能测试对比
raid10
置顶 原创 精选 2014-10-17 10:11:50 10000+阅读 4点赞 2收藏 8评论

saltstack maser HA

一、最近一直在忙数据库平台测试的事情，预测国庆之后就能上线，好激动，不过还有点担心啊，所有功能都依靠这个平台，包括数据库的基本操作、权限管理、迁移、监控、报警等等，平台如果挂了，天就塌了，所以我把平台的所有组件都搞成HA了，本文记录一下saltstack maser的 HA，官网有一些相关的介绍，不过看的不是很明白，折腾了几次都不行，也是RP问题吧，所以就自己简单的总结一下步骤吧。二、环

高可用
saltstack maser HA
saltstack主从
置顶 原创 精选 2014-09-25 18:54:00 2375 阅读

Xtrabackup备份mysql实战（做从库全过程）

一、背景线上的一个库一直都是RD他们自己维护的，由于业务的增长，现在数据已经500G+了，急需做一个从库，登陆机器一瞅，坑爹啊，还是mysql5.6（我们维护的都是5.5），mysql5.6还没有搞过呢，还有就是他这安装的都不是按我们运维的标准安装的，我的第一反应就是这活没法干，这个库又不容许停库太长时间，于是就度娘、QQ群各种请教，最终确定用Xtrabackup试一把，一直在听大家说Xtraba

mysql5.6 xtrabackup
置顶 原创 推荐 2014-06-04 20:51:47 7694 阅读 9点赞 1收藏 2评论

LVS集群部署详细过程（LVS+OSPF）

一、前言        2013年下半年大部时候都用在LVS实施上面了，一路摸爬滚打走来，遇到各种问题，感谢同事们对我的帮助和指导，感谢领导对我的信任，本文总结一下lvs集群（ospf+fullnat）的详细部署情况以及需要注意的问题点，先大概说一下LVS在我们公司的应用情况吧，LVS在我们公司走过了以下三个阶段：阶段

LVS
Cluster
LVS集群
fullnat+ospt
置顶 原创 推荐 2013-12-28 17:08:53 10000+阅读 22点赞 3收藏 46评论
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 在线客服 网站地图 意见反馈
友情链接
开源基础软件社区 51CTO学堂
51CTO 汽车开发者社区