搭建前准备:

1.环境搭建资源:

根据自己需要下载对应得资源即可

2.打开虚拟机,登录你的Linux系统。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hadoop

3..使用SSH(或者Xftp)工具远程登陆服务器。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_JAVA_02

4.用文件传输工具远程登录系统。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_JAVA_03

5.在/home目录下新建 Hadoop  java 文件夹。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_JAVA_04

6.将之前下载好的jdk上传到/home/java目录下。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_大数据_05

7.在/home/java目录下 执行命令  rpm -ivh jdk-7u67-linux-x64.rpm  安装

java环境.

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_大数据_06

8.配置java环境变量. 执行命令  vi /etc/profile   编辑配置文件。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_hadoop_07

9.将以下配置文件输入到 /etc/profile中:

export   JAVA_HOME=/usr/java/jdk1.7.0_67    //根据自己的jdk位置填写

export   HADOOP_HOME=/home/hadoop/hadoop-2.5.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hbase_08

10.配置好文件后保存并退出,重新加载配置文件。执行命令:

source /etc/profile

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_大数据_09

11.使用Secure File Transfer Client(Xftp) 在/home/hadoop目录下  上传下载好的 Hadoop 解压包。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hadoop_10

12.切换到/home/hadoop目录下,执行命令: 

tar xzvf hadoop-2.5.1_x64.tar.gz

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hbase_11

13.等待解压完成,会生成一个文件夹  hadoop-2.5.1

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hadoop_12

14.执行命令: cd /home/hadoop/hadoop-2.5.1/etc/hadoop,切换目录。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_hadoop_13

15.执行命令: vi hadoop-env.sh  ,配置hadoop-env.sh文件

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hadoop_14

16.配置JAVA_HOME,    输入: JAVA_HOME=/usr/java/jdk1.7.0_67

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_hadoop_15

17.执行命令:cd  /home/hadoop/hadoop-2.5.1/etc/hadoop 切换目录。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_hadoop_16

18.执行命令: vi core-site.xml ,配置core-site.xml。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_大数据_17

19.配置以下文件:

<property>
         <name>fs.defaultFS</name>
         <value>hdfs://192.168.8.34:8020</value>
</property>
<property>
         <name>hadoop.tmp.dir</name>
         <value>/opt/data/tmp</value>
</property>

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_hadoop_18

20.执行命令:cd  /home/hadoop/hadoop-2.5.1/etc/hadoop  ,切换目录。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hbase_19

21.执行命令:vi hdfs-site.xml ,配置hdfs-site.xml文件:

<property>
       <name>dfs:replication</name>
       <value>1</value>
   </property>

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_JAVA_20

22.ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  --生成公钥和秘钥
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  --将公钥放入文件中

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_大数据_21

23.格式化NameNode,执行命令:hdfs namenode -format

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hbase_22

24.执行命令:cd ../../sbin  切换到sbin 目录下

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_大数据_23

25.执行命令: start-dfs.sh  启动namennode。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hadoop_24

26.执行命令:jps  查看启动成功信息(会出现下面4个进程)

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hadoop_25

27.执行命令:service iptables stop ,关闭防火墙。

28.执行命令:cd /home/hadoop/hadoop-2.5.1/bin 切换到指定目录。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_大数据_26

29.

执行命令:./hdfs dfs -mkdir -p /usr/file
./hdfs dfs -put /root/jdk-7u67-linux-x64.rpm /usr/file

测试上传文件是否成功。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hadoop_27

30.打开浏览器,访问:http://192.168.8.34:50070  测试是否配置成功。注意换成自己的IP地址。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hbase_28

至此 Hadoop 搭建完成。

 

Hbase搭建:

1.使用Secure File Transfer Client(或者Xftp) 上传下载好的hbase压缩包。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hadoop_29

2.执行命令 tar zxvf hbase-0.98.12.1-hadoop2-bin.tar.gz 解压hbase.

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_JAVA_30

3.执行命令:vi /etc/profile 配置profile文件:

export JAVA_HOME=/usr/java/jdk1.7.0_67
export HADOOP_HOME=/home/hadoop/hadoop-2.5.1
export HBASE_HOME=/home/hbase/ hbase-0.98.12.1-hadoop2  
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_hadoop_31

4.执行命令:source /etc/profile  重新加载 profile。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_大数据_32

5.执行命令:

cd /home/hadoop/ hbase-0.98.12.1-hadoop2 /conf 切换目录,vi hbase-env.sh配置hbase-env.sh文件:
export JAVA_HOME=/usr/java/jdk1.7.0_67

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hbase_33

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_Hbase_34

6.执行命令: vi hbase-site.xml 配置hbase-site.xml文件:

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://192.168.8.34:8020/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/data/zookeeper</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
</configuration>

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_JAVA_35

7.执行命令:vi regionservers 配置regionservers文件。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_hadoop_36

8.修改里面内容为:192.168.8.34(虚拟机ip地址)

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_JAVA_37

9.执行命令:start-hbase.sh    启动hbase

10.执行命令: jps  查看启动信息

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_JAVA_38

11.在浏览器地址栏访问http://192.168.8.34:60010  (ip改为自己的)。

大数据处理技术实验1 Hadoop集群搭建 大数据环境搭建hadoop_大数据_39

至此,Hadoop+Hbase搭建完成。

由于本文是之前写的,后来加以修改。图片中有的文件版本可能找不到了,用资源中得文件也可以搭建。

最后,本文搭建环境仅用于学习使用,和企业使用场景有很大出入。

 

 

 

.