对于集群初始化，在 redis cluster 形成之前，各个节点都是独立的，它们主要是通过节点之间的 CLUSTER MEET 命令来初始化各个节点中的 clusterState 中的 nodes 成员，并构建最终的 cluster，cluster meet 的命令格式如下: CLUSTER MEET <ip> <
周氏一族，整理技术文档，给下一代留点教程......既然环境已经在前面一篇文章当中搭建好了http://zhoushouby.blog.51cto.com/9150272/1560505那么接下来，就是要如何灵活调用 redis cluster 发挥功效的时候了。大家都知道，我们redis是用来辅助mysql，减少压力，我们一般都是通过web前端来调用redis API接口，从而实现redis 功
Cobbler:是一个快速网络安装Linux的工具，使用简单的命令即可完成PXE网络安装环境的配置，同时还可以管理DHCP，DNS，以及yum包镜像。Cobbler支持命令行管理，web界面管理主要由Repository,Distribution,Profile:各部分组成分别是Repository:mirror urlDistribution:kernek ,initrdProfile:dist
规划： vip:192.168.1.254 rs1:192.168.1.215 rs2:192.168.1.216&n
安装命令行工具：yum install ipvsadm使用ipvsadm应打开linux的转发功能以及关闭iptables lvsadm: 1.管理集群服务 &n
一、LVS :四层负载均衡设备，可针对IP和端口进行匹配相应的规则 借鉴iptables工作机制，工作在input链上，在上面设置规则，一旦发现用户请求集群服务，强行修改报文，通过postrouting链转发给
周氏一族，整理技术文档，给下一代留点教程......redis 3.0 cluster 安装篇，请看 http://zhoushouby.blog.51cto.com/9150272/1560400 本篇，是在 "redis 3.0 cluster 集群 学习之路篇 [2]" 的基础上面实现 “实际生产中Redis服务器部署” 安装调试以及测试。六台服务器server21
周氏一族，整理技术文档，给下一代留点教程......Redis 3.0 cluster 基础篇，请看下面链接http://zhoushouby.blog.51cto.com/9150272/1560346本篇，主要是讲述，如果安装 Redis 3.0 cluster，安装步骤跟redis主备大同小异，只是需要注意两个方面1、开启 cluster enable ，以及设置相关cluster &nbs
周氏一族，整理技术文档，给下一代留点教程......目前，项目用的redis主备，感觉超不爽，很多局限性，特别是在 redis master 宕机之后，维护非常麻烦，寻思着弄一个redis集群，可不，总算到了今年10.1，redis发布了cluster版本。开启摸索之路...很多人，一看到官网有最新的cluster版本，满怀热血，第一件事，就是搭建cluster环境，其实，鄙人却不，还是要从基层走
一、目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。二、先决条件确保在你集群中的每个节点上都安装了所有必需软件。获取Hadoop软件包。三、安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里的一台机器被指定为 NameNode，另一台不同的机器
前言： 今个群里有个哥们问我怎么实现一个集群的架构图，一说架构图，大家肯定想到的是用visio或者是亿图，但是动态的咋办？甚至说高端了点，不仅可以看到架构图，而且可以看到流量及负载的信息。 现在运维平台这么火热，大家恨不得把平台做全面点。 我以前做过一个机房展现图，有兴趣的朋友可以再以前的博客中找到。 运维平台化之IDC机柜拓扑及数据展现实现思路http://rfyiam
第五步：测试Spark IDE开发环境此时我们直接选择SparkPi并运行的话会出现如下错误提示：从提示中可以看出是找不到Spark程序运行的Master机器。此时需要配置SparkPi的执行环境：选择“Edit Configurations”进入配置界面：我们在Program arguments中输入“local”：此配置说明我们的程序以local本地的模式运行，配置好后保存。此时再次运行程序即
阶段三：我们这次试一下非正常退出模拟宕机方法：方法一：虚拟机挂起方法二：echoc>/proc/sysrq-trigger 恢复所有节点（略） [root@web1 ~]# cman_tool status……Nodes: 4Expected votes: 8Total votes: 8Node votes: 2Quorum: 5 …… =====S
四、测试调试工具：cman_tool、clustat、clusvadm、init 0测试目的：1.实现资源转移2.探究quorum机制和fence机制 测试思路：不开启qdiskd服务，查看quorum票数，逐个节点关机/模拟宕机，看日志、看quorum；开启qdiskd服务，查看quorum票数，逐个节点关机/模拟宕机，看日志、看quorum； 阶段一：（移除非资源节点）所有
前言 最近在学习集群高可用，集群的高可用可以让平台架构实现服务在线时间接近7X24X365。实现高可用技术有Heartbeat、Keepalive、Corosync等等，我们这里介绍的是RedHat Cluster Suite (RHCS)。本实验通过cman+rgmanager+system-config-cluster+gfs2+iscsi+clv
一、环境 centos6.5 node1:172.30.31.114 node2:172.30.31.115 node3:172.30.31.108 node4:172.
VMware公司vSphere 5产品的发布，为虚拟化平台带来了许多令人兴奋的新特性和许多增强的功能，尤其是在存储方面。存储方面两个最大的新特性是存储分布式资源调度(Storage DRS)和配置驱动存储(Profile-Driven Storage)，它们提供了对管理和控制存储资源而言非常有用的手段。在vSphere以前的版本中，分布式资源调度管理功能可以基于CPU和内存资源的利用率来分配和均衡
第四步：通过Spark的IDE搭建并测试Spark开发环境 Step 1：导入Spark-hadoop对应的包，次选择“File”–> “Project Structure” –> “Libraries”，选择“+”，将spark-hadoop 对应的包导入:点击“OK”确认：点击“OK”:IDEA工作完成后会发现Spark的jar包导入到了我们的工程中：Step 2：开发第
#!/bin/bash#version chooseOS=`sed -n '1p' /etc/issue|awk '{print $1}'`if [ $OS = "Ubuntu" -o $OS = "Debian" ];thenapt-get -y install gcc make tcl ruby unzipelif [ $OS = "Suse" ];thenzypper -y in
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第四步）（6）
此时把我们的“firstScalaApp”的源代码修改为如下内容：此时我们点击“firstScalaApp”的右键选择“Run Scala Console”出现如下提示：这是由于我们还没有设置Java的JDK路径，点击“OK”，进入如下视图：此时我们选择最左侧的“Project”选项：此时我们选择“No SDK”的“New”初选如下视图：点击“JDK”选项：选择我们在前面安装的JDK的目录：点击“
一、DRBD简介 DRBD的全称为：Distributed ReplicatedBlock Device(DRBD)分布式块设备复制,DRBD是由内核模块和相关脚本而构成，用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。你可以把它看作是一种网络RAID。它允许用户在远程机器上建立一个本地块设备的实时镜像。
此时重启IDEA:此时重启IDEA:重启后进入如下界面：Step 4：在IDEA中编写Scala代码： 首先在进入在我们前一步的进入界面中选择“Create New Project”：此时选在左侧列表中的“Scala”选项：为了方便以后的开发工作，我们选择右侧的“SBT”选项：点击“Next”进入下一步，设置Scala工程的名称和目录：点击“Finish”完成工程的创建：由于我们在前面选
前面的文章讲解了hadoop-2.2.0在64位linux系统下的编译步骤，以及zookeeper集群的部署，这篇主要写hadoop集群的部署，因为关于这方面的资料比较多这里就写主要的步骤：1：主机对应关系centos01192.168.6.180（master）centos02192.168.6.181（slave）centos03192.168.6.182（slav
配置完成后保存退出并执行source命令使配置文件生效。Step 3：运行IDEA并安装和配置IDEA的Scala开发插件：官方文档指出：我们进入IDEA的bin目录：此时，运行“idea.sh”出现如下界面：此时需要选择“Configure”进入IDEA的配置页面：选择“Plugins”，进入插件安装界面：此时点击左下角的“Install JetBrains plugin”选项进入如下页面：在左
使用LVS的dr模型负载均衡两台web服务器。条件： 只有一个公网地址。172.10.0.9 RIP使用私有地址如下图所示：路由器处理数据报文的流程： 用户访问集群服务的数据报文到达路由器后，通过路由决策发现从路由器的 eth1 网卡可以到达:172.10.0.0/16网络，(eth1 网卡配置有地址:172.10.0.
#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid &n
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第四步）（2）