Yum安装mesos+zookeeper+marathon管理docker集群

Apache-Mesos简介

Apache-Mesos是一款基于多资源(内存、CPU、磁盘、端口等)调度的开源集群管理套件，能使容错和分布式系统更加容易使用。官方网站http://mesos.apache.org/ ,软件能够自由下载使用。

Apache-Mesos工作原理

Apache-Mesos采用Master/Slave结构来简化设计，将Master做得尽可能轻量级，仅保存各种计算框架(Framework)和Mesos Slave的状态信息，这些状态很容易在Mesos出现故障的时候被重构，除此之外Mesos还使用Zookeeper解决Master单点故障的问题。

Apache-Mesos基本术语

Mesos Master:负责管理各个Framework和Slave，并将Slave上的资源分配给各个Framework。

Mesos Slave：负责管理本节点上的各个Mesos Task，为各个Executor分配资源。

Framework：计算机框架，如:Hadoop、Spark等，可以通过MesosSchedulerDiver接入Mesos。

Executor：执行器，在Mesos Slave上安装，用于启动计算框架中的Task。

Zookeeper简介

ZooKeeper是用来给集群服务维护配置信息，域名服务，提供分布式同步和提供组服务。所有这些类型的服务都使用某种形式的分布式应用程序。ZooKeeper是一个分布式的，开放源码的协调服务，是的Chubby一个的实现，是Hadoop和Hbase的重要组件。

ZooKeeper角色

领导者（leader）：领导者负责投票发起和决议，更新系统状态

跟随者（follwoer）：follower用于接收客户请求并向客户端返回结果，在选主过程中参与投票

观察者：ObServer可以接受客户端连接，将写请求转发给leader节点，但ObServer不参加投票过程，只同步leader的状态，ObServer的目的是为了拓展系统，提高读取速度。

客户端：请求发起方

服务器架构

主机名 IP地址 安装软件包
master 172.16.10.138 docker、mesos-master、mesos-slave、marathon、zookeeper
slave 172.16.10.147 docker、mesos-slave、zookeeper
  • 查看Linux系统版本及内核版本信息（本实验需内核版本在3.10及以上）
cat /etc/redhat-release //查看系统版本

uname -r     //查看内核版本信息

  • 关闭两台服务器的防火墙及SELinux
systemctl stop firewalld.service
systemctl disable firewalld.service    //禁止开机启动防火墙
setenforce 0

服务架构部署

  • 修改主机名及hosts解析文件
vim /etc/hosts       //两台服务器都进行修改
172.16.10.138 master
172.16.10.147 slave


hostnamectl set-hostname master    //master服务器修改主机名
hostnamectl set-hostname slave    //slave服务器修改主机名

修改完毕后需重启服务器使配置生效
  • 配置安装Java环境
rpm -ivh jdk-8u171-linux-x64.rpm     //rpm一键安装Java环境包

java -version    //查看java环境

部署mesos

  • master服务器上安装部署mesos服务
rpm -ivh http://repos.mesosphere.com/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm     //下载mesosphere仓库

yum -y install mesos      //安装mesos服务

  • 安装docker服务
yum -y install docker

systemctl start docker.service     //开启docker服务
systemctl enable docker.service    //开机自启动服务

docker pull nginx     //下载nginx镜像

部署zookeeper服务

  • 解压zookeeper软件，安装配置
mkdir /zoo
tar zxvf zookeeper-3.4.6.tar.gz -C /zoo
cd /zoo/
ln -s zookeeper-3.4.6/ zookeeper
cd zookeeper/conf/
grep -v "#" zoo_sample.cfg > zoo.cfg

vim zoo.cfg //修改配置文件

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zoo/zookeeper/data     //修改zookeeper数据文件存放目录
clientPort=2181          //端口
server.1=172.16.10.138:2333:3222
server.2=172.16.10.147:2333:3222
  • 创建zookeeper的数据文件存放目录及myid文件
mkdir ../data
echo 1 > ../data/myid
cat ../data/myid

  • 开启zookeeper服务，查看状态
/zoo/zookeeper/bin/zkServer.sh start  //开启zookeeper服务

/zoo/zookeeper/bin/zkServer.sh status    //查看状态信息

部署slave服务器

  • slave服务器上安装部署mesos服务
rpm -ivh http://repos.mesosphere.com/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm     //下载mesosphere仓库

yum -y install mesos      //安装mesos服务
  • 安装docker服务
yum -y install docker

systemctl start docker.service     //开启docker服务
systemctl enable docker.service    //开机自启动服务

docker pull nginx     //下载nginx镜像

  • 安装配置zookeeper服务
[root@slave docker]# mkdir /zoo
[root@slave docker]# tar xf zookeeper-3.4.6.tar.gz -C /zoo     //解压zookeeper软件包至/zoo目录下
[root@slave docker]# cd /zoo/
[root@slave zoo]# ls
zookeeper-3.4.6
[root@slave zoo]# ln -s zookeeper-3.4.6/ zookeeper     /创建软链接
[root@slave zoo]# cd zookeeper/conf/
[root@slave conf]# grep -v "#" zoo_sample.cfg > zoo.cfg     //反向过滤zoo_sample.cfg的配置文件并且重定向生成zoo.cfg
[root@slave conf]# vim zoo.cfg    //修改zoo.cfg配置文件
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zoo/zookeeper/data     //修改zookeeper数据文件存放目录
clientPort=2181          //端口
server.1=172.16.10.138:2333:3222
server.2=172.16.10.147:2333:3222


[root@slave conf]# mkdir ../data    //创建数据存放目录
[root@slave conf]# echo 2 > ../data/myid     //在数据存放目录下创建myid文件
[root@slave conf]# cat ../data/myid     //查看验证myid文件
2
  • 开启zookeeper服务，查看状态
/zoo/zookeeper/bin/zkServer.sh start  //开启zookeeper服务

/zoo/zookeeper/bin/zkServer.sh status    //查看状态信息

这里可以看到两台服务器上的zookeeper服务的状态信息，其中slave服务器为leader，而master服务器为follower

  • master安装marathon并且开启服务
tar zxvf marathon-0.15.2.tgz -C /opt      //解压marathon软件包

cd /opt

/opt/marathon-0.15.2/bin/start --hostname 172.16.10.138 --master zk://172.16.10.138:2181/mesos     //开启marathon服务
  • 分别开启两台服务器的mesos服务，网页登录mesos和marathon服务检测服务是否开启
systemctl start mesos-master     //master服务器开启mesos-master服务

systemctl start mesos-slave     //slave服务器开启mesos-slave服务

  • 使用marathon调度mesos创建docker容器

编辑json文件

vim nginx.json

{

  "id":"nginx",

  "cpus":0.1,

  "mem":10,

  "instances": 1,

  "constraints":[["hostname", "UNIQUE",""]],

  "container": {

    "type":"DOCKER",

    "docker": {

     "image": "nginx",

     "network": "BRIDGE",

     "portMappings": [

        {"containerPort": 80,"hostPort": 0,"servicePort": 0, "protocol":"tcp" }

      ]

    }

  }

}

curl -X POST -H "Content-type:application/json" http://172.16.10.138:8080/v2/apps -d@nginx.json   //调用json部署nginx

然后就可以在mesos网页界面和marathon的网页界面查看到执行的任务