Cloudera Manager 安装小型Hadoop集群



Cloudera提供了几种安装方法，具体可以参见Cloudera文档。这里我介绍的方法是用Cloudera Manager来安装。Cloudera Manager提供三种选项，区别可见Cloudera文档：

  • Free edition
  • 60 Days trial of enterprise edition, 60天以后自动切换为free edition
  • Enterprise edition

环境：

  • OS X Mountain Lion
  • VMWare Fusion
  • Cent OS 6.2
  • Cloudera Manager 4.5 , the latest version at present
  • 安装三台虚拟机作为三个节点，都使用命令行界面，因为我的笔记本资源有限，使用图形界面太耗资源。

首先，利用VMWare安装一台命名为Base虚拟机，只安装最基本的软件，这里我安装了perl和openssh-clients，关闭iptables，SELinux。注意事项如下：

  • 取消VMWare easy install，网卡使用Bridge模式。在启动界面，选择适合的内核再进入编辑模式，输入expert text，使用文本界面安装。安装过程中根据自己需要选择合适的CPU数量，内存大小。
  • 安装完毕，现在需要设置Cent OS。因为我们是用全文本模式安装，重启之后网卡还需要作一些设置才能启动。 #vi /etc/resolve.conf search example.com nameserver 192.168.1.1#vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=changelater.example.com GATEWAY=192.168.1.1#vi /etc/selinux/config SELINUX=disabled#chkconfig iptables off#vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICES=eth0 ONBOOK=yes PROTO=static IPADDR=192.168.1.200 NETMASK=255.255.255.0  启动网卡： 
#/etc/init.d/network restart

#yum -y perl openssh-clients

  •  然后安装VMWare-Tools，略过，网上教程一搜一把。

#vi /etc/hosts 192.168.1.201 n1.example.com n1 192.168.1.202 n2.example.com n2 192.168.1.203 n3.example.com n3

#ssh-keygen 两次回车 #cd .ssh #cp id_rsa authorized_keys #vi /etc/ssh/ssh_config StrictHostKeyChecking no

yum update

  • 用VMWare制作Base节点的三个拷贝，cdh4-1, cdh4-2, cdh4-3，这样就有了三个节点。
  • 启动cdh4-1，cdh4-2，cdh4-3。并分别设置，这里我以cdh4-1为例。 #vi /etc/sysconfig/network HOSTNAME=n1.example.com   #cd /etc/sysconfig/network-scripts #mv ifcfg-eth0 ifcfg-eth1 #vi ifcfg-eth1 IPADDR=192.168.1.201   #/etc/init.d/network restart #init 6