一、JAVA环境的安装


hadoop环境是一定需要有JAVA环境的,所以有一个关键的前提是安装JAVA环境并且对环境变量进行配置


安装JAVA


安装命令:


    rpm -ivh jdk-7u80-linux-x64.rpm


对环境变量进行配置


    home目录下有一个隐藏文件:.bash_profile


    export JAVA_HOME=/usr/java/jdk1.7.0_80


    export PATH=$PATH:$JAVA_HOME/bin


使配置的环境生效


    source .bash_profile


二、Hadoop安装


Hadoop是一个tar.gz的压缩包在上传服务器后,放到指定的目录,如:/root/software


解压命令


    tar -zxvf hadoop-2.5.1_x64.tar.gz


将Hadoop的环境信息写入到配置文件中


注意:需要把hadoop中的bin文件和sbin文件都 写入到配置文件中


export HADOOP_HOME=/root/software/hadoop-2.5.1


export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


在Hadoop中需要把JAVA_HOME信息写入到环境配置文件中:hadoop-env.sh(这个文件位于hadoop解压目录下etc/hadoop中)




hadoop2还有必要学习吗 hadoop一定要会java吗_hadoop


注意:这里必须要修改为绝对路径,否则在后续的操作过程中,hadoop会出现找不到java环境的情况


 


三、模拟分布式安装


上面已经完成了基本的安装,接下来在一台机器上做模拟分布式的安装(伪分布式安装)


Hadoop配置,有两个xml文件需要进行配置


    1.core-site.xml:这个文件主要用来配置访问hadoop集群的主要信息


    2.hdfs-site.xml:配置 HDFS的相关信息


core-site.xml(它位于:hadoop解压目录下etc/hadoop中)



hadoop2还有必要学习吗 hadoop一定要会java吗_大数据_02


在configuration节点下配置如下信息:


<property>


        <name>fs.defaultFS</name>


        <value> hdfs://masternode:9000</value>


    </property>


这样外部可以通过hdfs://masternode:9000来找到集群


这里有几个点需要注意:


    1.masternode:这个可以使用IP来代替


    2.masternode是在hosts文件中进行配置的(/etc/hosts)



hadoop2还有必要学习吗 hadoop一定要会java吗_hadoop2还有必要学习吗_03


    3.在hosts文件是设置的名称必须要与主机的名称一致否则使用这个方式配置启动hadoop集群时会报错会找不到主机


 


hdfs-site.xml(它位于:hadoop解压目录下etc/hadoop中)



hadoop2还有必要学习吗 hadoop一定要会java吗_JAVA_04


在configuration节点下配置如下信息


<property>


        <name>dfs.replication</name>


        <value>1</value>


    </property>


这里表示副本数是1


 


在完成上面操作后需要有一个特别注意的点需要补充操作如,否则后面在格式化HDFS时 可能会报错


    网上描述:Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行某一些操作。


把以需要进行下载native和配置native


下载native:


http://dl.bintray.com/sequenceiq/sequenceiq-bin/


选择对应的版本,比如这里使用2.5.1版本的则可以下载:hadoop-native-64-2.5.0.tar



hadoop2还有必要学习吗 hadoop一定要会java吗_大数据_05


将下载的tar文件上传至服务器合适的目录(这个目录位置没有特别的要求),执行下面的命令进行文件的解压


     tar -xvf hadoop-native-64-2.6.0.tar -C $HADOOP_HOME/lib/native


    tar -xvf hadoop-native-64-2.6.0.tar -C $HADOOP_HOME/lib


注意:上面是两条命令,两条命令都需要执行到


配置native


    .bash_profile 文件进行配置信息的追加


    


    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native


    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"


    环境信息追加后,执行命令:source .bash_profile (目的:让配置生效)


    


完成上面的配置后,接下来可以进行HDFS的格式化操作


使用如下命令:


    hdfs namenode -format


 


格式化完成后则可以启动HDFS


    start-dfs.sh


启动完成后可地访问 如下链接


http://192.168.2.2:50070/



hadoop2还有必要学习吗 hadoop一定要会java吗_hadoop2还有必要学习吗_06