安装单机模式的hadoop无须配置,在这种方式下,hadoop被认为是一个单独的java进程,这种方式经常用来调试。所以我们讲下伪分布式安装hadoop.

我们继续上一章继续讲解,安装完先试试SSH装上没有,敲命令,注意:这个安装是hadoop伪分布式的安装,配置集群我在后面讲!!!!!!!!

ls -a

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_hadoop伪分布式实验结论及心得

如果没有ssh,输入命令

ssh     查看

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_xml_02

ssh localhost

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_xml_03

其实这个代表已经装上了

如果没有在进行下面的命令:

sudo  apt-get  install  openssh-server   下载

mkdir .ssh     自己创建ssh

chmod 777 .ssh

代表安装上了ssh,接下来我们要为虚拟机分配一个静态的ip

一:配置静态IP

1. sudo -i  获取最高用户级别

2.nano /etc/network/interface,把IP改成静态的,加上address,netmask,gateway,修改完以后ctrl+o保存,

然后回车,ctrl+x切换到输入行。

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_xml_04

3.nano /etc/resolv.conf

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_hadoop伪分布式实验结论及心得_05

4.reboot 重新启动

   启动完把网络转成桥接网卡,试试看能不能上网,如果网不能上,你在查看下第3步有没有改成功。

   在这里我们假设可以OK上网了

做好准备工作,下载jdk-7u3-linux-i586.tar 这个软件包和hadoop-1.1.2-1374045102000.tar软件包

二:配置JDK

1.tar zxvf jdk-7u3-linux-i586.tar.gz 解压jdk

   tar zxvf hadoop-1.1.2-1374045102000.tar.gz 解压hodoop

2.sudo -i

3.nano /etc/profile,在最下面加入这几句话,保存

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_hadoop_06

 验证jdk是否安装成功,敲命令

java

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_hadoop伪分布式实验结论及心得_07

 

javac

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_xml_08

 

这样就代表jdk安装成功了。

三:配置SSH  免密码登陆

1。sudo -i

2.ssh-keygen  -t  dsa  -P  ' '  -f  ~/.ssh/id_dsa

ssh-keygen代表生成密钥,-t代表指定生成的密钥类型,dsa代表密钥类型,-P代表提供密语

-f代表生成的密钥文件

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_hadoop_09

3.cat  ~/.ssh/id_dsa.pub  >>  ~/.ssh/authorized_keys

4.ssh localhost   没有让你输入密码就代表ssh装成功了

或者 ls  .ssh/      看看有没有那几个文件

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_HDFS_10

 

四。配置Hadoop

上面已经解压完hadoop

1.sudo  -i

2.nano  /home/tree/hadoop-1.1.2/conf/hadoop-env.sh  指定JDK的安装位置

在文本最下面加入export JAVA_HOME=/home/tree/jdk1.7.0_03

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_hadoop_11

3.nano  /home/tree/hadoop-1.1.2/conf/core-site.xml   修改核心文件

我这里设置的IP是192.168.0.153,这个图是之前的图,大家见谅

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_xml_12

4.nano  /home/tree/hadoop-1.1.2/conf/hdfs-site.xml    修改HDFS配置,配置的备份

 方式默认是3,在单机版本中,需要将其改为1

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_xml_13

5.nano  /home/tree/hadoop-1.1.2/conf/mapred-site.xml  MapReduce的配置文件,配置

jobTracker的地址及端口

 

  <configuration>

      <property>

          <name>mapred.job.tracker</name>

           <value>192.168.0.153:9001</value>

      </property>

  </configuration>

 

 

6.chown  -R  tree:tree  /home/tree/hadoop-1.1.2       给用户赋予权限

注意:我这个是在ubuntu系统操作下执行的,如果想在centOS系统执行,就不用切换当前用户,后面都用root用户

7.exit   返回到tree用户 。centOS不用返回,直接用root用户格式化

8.cd /home/tree/hadoop-1.1.2/

9.bin/hadoop namenode -format    需要格式化Hadoop文件系统HDFS,记住,格式化一次就可以了,以后修改哪里都不需要在格式化了,记住,上面

配置都正确就可以格式化了。如果格式化失败,找到出现的问题,比如无法解析域名等等(centOS系统要修改hosts文件),问题解决后,要先把创建的

临时文件删除(core-site.xml 中你设置临时文件的目录,用 rm -ef  临时文件位置

10.bin/start-all.sh    输入命令,启动所有线程

bin/stop-all.sh   输入命令,关闭所有线程 

 

验证Hadoop是否安装成功,打开网页,输入:

http://localhost:50030     (MapReduce的web页面)

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_hadoop伪分布式实验结论及心得_14

 

http://localhost:50070     (HDFS的web页面)

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_hadoop伪分布式实验结论及心得_15

如果只想启动HDFS (bin/start-dfs.sh)或者MapReduce(bin/start-mapred.sh),输入命令就可以了

 

一般启动完以后,可以通过jps查看各个状态

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_hadoop伪分布式实验结论及心得_16

 

 

五:配置HBase

首先,先到HBase官网上下载http://www.apache.org/dyn/closer.cgi/hbase/  ,下载hbase-0.94.13.tar.gz  版本

注意:安装hadoop的时候,要注意hbase的版本,如果hadoop与hbase不匹配会影响hbase系统的稳定性。在hbase的lib目录下有对应的hadoop的jar文件,

         如果想使用其它hadoop版本,那么需要将hadoop系统安装目录hadoop-*.*.*-core.jar文件和hadoop-*.*.*-test.jar复制到hbase的lib文件夹下,以

         替换其它版本的hadoop.

1.tar zxvf hbase-0.94.13.tar.gz    解压HBase

2. sudo -i  获取最高用户级别

3.nano /home/tree/hbase-0.94.13/conf/hbase-env.sh

在文本最下面加入export JAVA_HOME=/home/tree/jdk1.7.0_03

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_hadoop_17

4.nano /home/tree/hbase-0.94.13/conf/hbase-site.xml

配置 hbase-site.xml, 这里将 hbase.rootdir 存放在 HDFS 上,这里端口号一定要和之前设置的 HDFS的 fs.default.name的端口号一致。

 

这样hbase就配置好了。

 

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_hadoop伪分布式实验结论及心得_18

5. 注意点
由于这样的配置,HBase是依赖与HDFS的文件系统的。所以应当先启动HDFS,之后启动HBase。所以,切记,一定要先启动Hadoop,并且可以通过 http://localhost:50070/dfshealth.jsp 查看HDFS并且可以浏览文件之后再启动HBase。否则 HBase也会出现一切问题,如启动时间过长,Master一直在初始化等等。

如何启动HDFS命令上面已经讲过了,启动完HDFS以后,页面也正常,再启动HBase

cd /home/tree/hbase-0.94.13/

bin/start-hbase.sh

启动完以后,查看运行状态

  1. 如果你需要对HBase的日志进行监控你可以查看 hbase.x.x./logs/下的日志文件,可以使用tail -f 来查看。
  2. 通过 web方式查看运行在 HBase 下的zookeeper http://localhost:60010/zk.jsp
  3. 如果你需要查看当前的运行状态可以通过web的方式对HBase服务器进行查看,输入http://localhost:60010/master-status 如图所示:

     

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_HDFS_19

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_HDFS_20

 

删除文件夹的命令  rm -rf  文件名

使用: bin/hbase shell 进入HBase命令行模式

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_xml_21

进入hbase shell,输入help之后,可以获取hbase shell 所支持的命令。

hadoop伪分布式实验结论及心得 伪分布式hadoop实例_hadoop_22