1、确认是否安装了 jdk
2、配置ssh 免密码登录
1)、确认当前用户下是否有 .ssh文件夹,如果没有手动创建。
2)、创建公钥与私钥
我本机执行命令后的结果:
3)、验证ssh是否已经安装成功,以及是否可以无密码登录本机
3、安装并运行hadoop
进行配置文件的修改:
hadoop-2.6.0
1)、进行 压缩文件的解压
tar -zxvf hadoop-2.6.0.tar.gz
说明下我这块的安装目录是在 /opt/hadoop 下面 。解压后的效果是:
2)、改变文件夹用户及权限
chmod -R 775 /opt/hadoop
chown -R hadoop:hadoop /opt/hadoop
配置环境变量
vi ~/.bashrc
在末尾添加
#HADOOP VARIABLES START
export JAVA_HOME=/opt/jdk1.8.0
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path-$HADOOP_HOME/lib"
#HADOOP VARIABLES END
export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HBASE_HOME/bin
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.${JAVA_HOME}/lib:${JRE_HOME}/lib:${HADOOP_HOME}/share/hadoop/common/lib:${HBASE_HOME}/lib
source ~/.bashrc
4)、进行配置文件的修改
进入配置文件目录:
hadoop-env.sh 指定jdk 安装地址
echo $JAVA_HOME 如果有输出则不用改。
b、core-site.xml hadoop 的核心配置文件,配置HDFS的地址和端口
c、配置备份方式 hdfs-site.xml 默认为3 单机模式改为 1
d、配置MapReduce 的配置文件,配置JobTracker地址和端口 mapred-site.xml
e、配置yarn-site.xml
5)、在启动Hadoop 之前需要格式化 Hadoop 的文件系统 HDFS,进入hadoop/bin文件夹输入如下命令
我的目录是:
执行成功 会返回 信息
注意:在这块有可能会出错:
这个出错的原因是因为 NameNode 大写导致的,改为 namenode 就好了。
网上查了下也有其他原因导致的:
需要确认hadoop-env.sh 中的 JAVA_HOME 路径是否正确。
再在此文件中增加:
为hadoop 的安装路径
4、安装hbase
1)、 解压到 /opt 目录下
hbase-1.1.1-bin.tar.gz
2)、改变文件夹权限 及所在用户组
hbase-env.sh jdk路径
修改 pid的路径
修改hbase-site.xml
添加:
<configuration><property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property></configuration>
启动hbase 失败:
查看hbase lib下 hadoop的版本
替换成 hadoop 对应的版本:
替换脚本:
find -name "hadoop*jar" | sed 's/2.5.1/2.6.0/g' | sed 's/\.\///g' > f.log
rm ./hadoop*jar
cat ./f.log | while read Line
do
find /opt/hadoop/hadoop-2.6.0/ -name "$Line" | xargs -i cp {} ./
done
rm ./f.log
hbase 1.1.1 需要1.7 以上版本才能启动 不然启动报错
$ bin/hbase rest start
启动hbase REST服务后就可以通过对uri: http://localhost:60050/api/ 的通用REST操作(GET/POST/PUT/DELETE)实现对hbase的REST形式数据操作.
也可以输入以下指令进入HQL指令模式
$ bin/hbase shell
注:主机名 不能带有下划线
修改hosts 文件进行主机名和ip的映射 所有配置文件中全部采用主机名的形式进行配置
如:
[ root@xadevhadoop ~]# cat /etc/hosts
10.0.50.13 xadevhadoop # Added by NetworkManager
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
不能进行 127.0.0.1的映射,否则会报错
访问hbase :
1、RegionServers HBase RegionServer web 界面绑定的端口
http://xadevhadoop:16030/rs-status
2、 the Master HBase Master web 界面端口
http://xadevhadoop:16010/master-status
3、集群情况
http://xadevhadoop:8088/cluster
0.98以前版本访问 hbase Master 端口是 60010 和 60030
显示启动:
strace -fe open start-all.sh |