1、确认是否安装了 jdk

    

2、配置ssh 免密码登录

1)、确认当前用户下是否有 .ssh文件夹,如果没有手动创建。   

2)、创建公钥与私钥

我本机执行命令后的结果:

3)、验证ssh是否已经安装成功,以及是否可以无密码登录本机

3、安装并运行hadoop

    进行配置文件的修改:

hadoop-2.6.0

    

    1)、进行 压缩文件的解压

        tar -zxvf   hadoop-2.6.0.tar.gz 

        说明下我这块的安装目录是在 /opt/hadoop 下面 。解压后的效果是:

    

    2)、改变文件夹用户及权限

chmod -R 775 /opt/hadoop
chown -R hadoop:hadoop /opt/hadoop

配置环境变量 

        

vi ~/.bashrc 

        在末尾添加

#HADOOP VARIABLES START
    export JAVA_HOME=/opt/jdk1.8.0
    export HADOOP_HOME=/opt/hadoop
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export HADOOP_OPTS="-Djava.library.path-$HADOOP_HOME/lib"
    #HADOOP VARIABLES END

    export HBASE_HOME=/opt/hbase
    export PATH=$PATH:$HBASE_HOME/bin
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.${JAVA_HOME}/lib:${JRE_HOME}/lib:${HADOOP_HOME}/share/hadoop/common/lib:${HBASE_HOME}/lib

    source ~/.bashrc

   4)、进行配置文件的修改

        进入配置文件目录:

        

 hadoop-env.sh  指定jdk 安装地址

        

 echo $JAVA_HOME 如果有输出则不用改。

        

        b、core-site.xml hadoop 的核心配置文件,配置HDFS的地址和端口

        c、配置备份方式 hdfs-site.xml  默认为3 单机模式改为 1

        d、配置MapReduce 的配置文件,配置JobTracker地址和端口 mapred-site.xml

        e、配置yarn-site.xml

   

    5)、在启动Hadoop 之前需要格式化 Hadoop 的文件系统 HDFS,进入hadoop/bin文件夹输入如下命令

        我的目录是:

        

    执行成功 会返回 信息

    注意:在这块有可能会出错:

        这个出错的原因是因为 NameNode 大写导致的,改为 namenode 就好了。

        网上查了下也有其他原因导致的:

        需要确认hadoop-env.sh 中的 JAVA_HOME 路径是否正确。

        再在此文件中增加:

        为hadoop 的安装路径

4、安装hbase

 1)、    解压到 /opt 目录下

  hbase-1.1.1-bin.tar.gz

 2)、改变文件夹权限 及所在用户组

 hbase-env.sh jdk路径

修改 pid的路径

修改hbase-site.xml 

添加:

<configuration><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property></configuration>
启动hbase 失败:
查看hbase lib下 hadoop的版本

替换成 hadoop 对应的版本:

替换脚本:

find -name "hadoop*jar" | sed 's/2.5.1/2.6.0/g' | sed 's/\.\///g' > f.log

rm ./hadoop*jar

cat ./f.log | while read Line

do

find /opt/hadoop/hadoop-2.6.0/ -name "$Line" | xargs -i cp {} ./

done

rm ./f.log

hbase 1.1.1 需要1.7 以上版本才能启动 不然启动报错

$ bin/hbase rest start

启动hbase REST服务后就可以通过对uri: http://localhost:60050/api/ 的通用REST操作(GET/POST/PUT/DELETE)实现对hbase的REST形式数据操作.

也可以输入以下指令进入HQL指令模式

$ bin/hbase shell

注:主机名 不能带有下划线
修改hosts 文件进行主机名和ip的映射 所有配置文件中全部采用主机名的形式进行配置
如:

[ root@xadevhadoop ~]# cat /etc/hosts

10.0.50.13      xadevhadoop     # Added by NetworkManager

127.0.0.1       localhost.localdomain   localhost

::1     localhost6.localdomain6 localhost6

不能进行 127.0.0.1的映射,否则会报错

访问hbase :

1、RegionServers HBase RegionServer web 界面绑定的端口

http://xadevhadoop:16030/rs-status

2、 the Master HBase Master web 界面端口

http://xadevhadoop:16010/master-status

3、集群情况

http://xadevhadoop:8088/cluster

0.98以前版本访问 hbase Master 端口是 60010 和 60030

显示启动:

strace -fe open start-all.sh