Hadoop的平台搭建

  1. 搭建大数据的分布式平台的环境准备
  2. 虚拟机环境(vm)、centos7.0(/centos6.5);  
  3. centos7.0(/centos6.5)的安装步骤

   A.点击添加虚拟机,选择典型安装,如下图所示:

CDH平台Hive压缩设置orc格式 cdh hive配置_centos

B.提前准备好安装程序光盘的映像文件,选择映像点击下一步

CDH平台Hive压缩设置orc格式 cdh hive配置_重启_02

  1. 虚拟机命名(随意),选择centos7.0的位置,点击下一部。

CDH平台Hive压缩设置orc格式 cdh hive配置_centos_03

D.分配磁盘的大小,一般20G。

CDH平台Hive压缩设置orc格式 cdh hive配置_重启_04

E.自定义配置,包括网络,内存的大小等等。

CDH平台Hive压缩设置orc格式 cdh hive配置_重启_05

F.开始正式安装linux的环境,选择install centos 7

CDH平台Hive压缩设置orc格式 cdh hive配置_centos_06

G.选择英文,然后直接点击下一步。

CDH平台Hive压缩设置orc格式 cdh hive配置_重启_07

H.选择system的暗战设置-installation  destination的磁盘目录

CDH平台Hive压缩设置orc格式 cdh hive配置_CDH平台Hive压缩设置orc格式_08

I.选择i will config partitioning选择我要分区,点击done

CDH平台Hive压缩设置orc格式 cdh hive配置_centos_09

J.使用标准的分区方案建立分区:standard  partition部分。

CDH平台Hive压缩设置orc格式 cdh hive配置_centos_10

K.swap #交换分区,一般设置为内存的2倍

CDH平台Hive压缩设置orc格式 cdh hive配置_centos_11

L./ #剩余所有空间,进行完上面的操作,直接点击done

CDH平台Hive压缩设置orc格式 cdh hive配置_用户名_12

M.设置管理员密码。

CDH平台Hive压缩设置orc格式 cdh hive配置_用户名_13

N.输入管理员的密码hpf123

 

CDH平台Hive压缩设置orc格式 cdh hive配置_用户名_14

O.点击reboot重启虚拟机

CDH平台Hive压缩设置orc格式 cdh hive配置_用户名_15

  1. 如下页面输入用户名和密码

CDH平台Hive压缩设置orc格式 cdh hive配置_CDH平台Hive压缩设置orc格式_16

  1. 基于centos7.0安装4个虚拟机node01--node04
  2. 查看每台虚拟机对应的ip地址

命令:ip addr /ifconfig[当输入ifconfig时候会出现没有这个命令,这个是由于安装的版本是简易版的问题]

  1. 通过ip addr 查看本机网卡,会看到两个网卡;

CDH平台Hive压缩设置orc格式 cdh hive配置_重启_17

  1. 编辑vi /etc/sysconfig/network-scripts/ifcfg-ens33;
  2. 通过Insert命令进行编辑ifcfg-ens33中onboot=no修改为yes
  3. Esc->:wq(保存突出)->service network restart(重新启动网络);
  4. 通过ip addr可以看到:192.168.xxx.xxx,完成

CDH平台Hive压缩设置orc格式 cdh hive配置_重启_18

  1. 通过上面的重复操作,查询出4台虚拟机的ip
  2. Node01:ip:192.168.199.132
  3. Node02:ip:192.168.199.133
  4. Node03:ip:192.168.199.130
  5. Node04:ip:192.168.199.131
  6. 检查虚拟机是否安装ssh

   A.检查是否安装虚拟机之间的通信如下图所示,如果没有安装通过yum install ssh

CDH平台Hive压缩设置orc格式 cdh hive配置_重启_19

  1. 启动ssh通信,报错Unknown operation 'sshd.service'.

CDH平台Hive压缩设置orc格式 cdh hive配置_用户名_20

  1. 执行命令:sudo yum install openssh*,安装相应的包文件,执行命令service sshd start

CDH平台Hive压缩设置orc格式 cdh hive配置_CDH平台Hive压缩设置orc格式_21

D,配置和查看相应的端口,vi /etc/ssh/sshd_config   

CDH平台Hive压缩设置orc格式 cdh hive配置_CDH平台Hive压缩设置orc格式_16

E.关闭防火墙的时候报错,no such file,执行yum install iptables*,再执行rpm -qa 1 grep iptables查看是否安装成功。特别iptables是在centos7以下版本中有。

CDH平台Hive压缩设置orc格式 cdh hive配置_重启_23

F,防火墙关闭的一些命令:

1>centos7防火墙由firewalle管理,不是iptables

停止firewalld服务systemctl stop firewalld 
禁用firewalld服务systemctl mask firewalld 
开启systemctl unmask firewalld

2>centos7以下iptables操作:

安装iptables-services:yum install iptables-services 
开启、关闭、重启防火墙: service iptables [stop|start|restart] 
或者:systemctl [stop|start|restart] iptables 
永久关闭防火墙:chkconfig iptables off 
永久关闭后重启:chkconfig iptables on 
设置开机启动:systemctl enable iptables 
保存:service iptables save 或者 /usr/libexec/iptables/iptables.init save

3>开放某个端口

查看防火墙开放的端口:more /etc/sysconfig/iptables 
         放开某个端口(如:8080) 
     (1)通过vim /etc/sysconfig/iptables 进入编辑增添一条 -A INPUT -m state --state     NEW -m tcp -p tcp --dport 8080 -j ACCEPT 
     (2)执行 /etc/init.d/iptables restart 命令将iptables服务重启

 

CDH平台Hive压缩设置orc格式 cdh hive配置_CDH平台Hive压缩设置orc格式_16

CDH平台Hive压缩设置orc格式 cdh hive配置_centos_09

4jdk安装

 

CDH平台Hive压缩设置orc格式 cdh hive配置_CDH平台Hive压缩设置orc格式_26

CDH平台Hive压缩设置orc格式 cdh hive配置_用户名_27