目的:
cloudera manager server安装hadoop集群的服务大大简化了安装过程,即使不懂linux的人之需要鼠标点一点就可以安装和管理,但是cloudera manager server所有的安装过程都是在线的,如果某地网速过慢或者无法联网,就需要离线来安装cloudera manager server。下面我来介绍一下我安装的步骤
环境:
ubuntu 12.04 64位系统(其他系统安装原理也是类似的)
大概思路:
看cloudera manager server的安装过程的提示可以看出,cm是把它官网的源加入到本地,然后执行apt-get install来安装,所以很容易的想到把官网上的源下下来,然后在局域网建立一个源,笔者也是这么做的。
具体步骤:
1,下载官网上的源,笔者使用wget这个工具,具体命令如下:
wget -mc http://archive.cloudera.com/cdh4/ubuntu/precise/amd64/cdh/
wget -mc http://archive.cloudera.com/cm4/ubuntu/precise/amd64/cm/
大家仔细分析下这两个源就知道这是什么了
2,下载好的源建立服务器
笔者使用nginx服务器,觉得配置和使用都很简单,网上有很多教程,大家可以搜搜
还有一点说明就是如果访问服务器是403 forbid的话把nginx的配置文件的用户和用户组都改成root
假设建立好了源 比如源建在192.168.1.2这个机子 只需要在每台机子的/etc/apt/sources.list里面加入:
deb [arch=amd64] http://ip/cm4/ubuntu/precise/amd64/cm precise-cm4 contrib
deb-src http://ip/cm4/ubuntu/precise/amd64/cm precise-cm4 contrib
然后apt-get update一下 就会发现用apt-get install hadoop什么都存在了
3,离线安装cloudera manage server
在上一篇博客里面已经介绍了cm在线的安装办法,按道理说现在也这样安装就没有问题,因为源都在本地了。但是经过查看日志文件知道,cm安装过程中还要从其他网址下载东西比如mysql和postsql,ssh等,这些都需要我们下好,然后手动安装(当然,你可以把这些下好,然后加入到源里面,就可以安装,但是笔者对于源不是很熟悉,希望这样成功的人能留言告知下具体做法)。
在执行 cloudera-manager-installer.bin需要先安装这些
4,离线安装hadoop集群
需要安装hadoop服务的机子需要安装如下:
ntp
mysql
还有ssh
(以上的这些文件都是笔者在线安装时,得到的文件,这些文件保存在/var/cathe/apt/archives文件夹里面)
注意问题:
1,如果只有一台机子测试时,需要修改/etc/hosts,把本机ip和主机名加入即可
2,有时候firefox显示会有问题,可以改用chrome即可