hadoop 2.4.1单机安装教程 99.9%成功率

原创

xcagy 2023-01-09 19:11:07 博主文章分类：HADOOP ©著作权

文章标签 田尚滨 HADOOP单机安装 xml hadoop vim 文章分类 Spark 大数据

©著作权归作者所有：来自51CTO博客作者xcagy的原创作品，请联系作者获取转载授权，否则将追究法律责任

1.先自己安装centos7.X 64位

2.自己想办法安装JDK1.7,记住不要open sdk的

3.准备好hadoop-2.4.1 64位，官网下载默认是32位的，所以上淘宝买CSDN下载

4.修改系统配置

vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=k1

vim /etc/hosts

192.168.0.109 k1

reboot

5.修改hadoop环境变量

export JAVA_HOME=/usr/local/java/jdk7
 export HADOOP_HOME=/root/hadoop-2.4.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOOME/sbin:$HADOOP_HOME/lib:$JAVA_HOME/binexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
 export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib

然后source /etc/profile

6.修改hadoop配置文件

第一个：hadoop-env.sh
         vim hadoop-env.sh
         #第27行
         export JAVA_HOME=/usr/java/jdk1.7.0_65
         
     第二个：core-site.xml        <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://weekend-1206-01:9000</value>
         </property>
         <!-- 指定hadoop运行时产生文件的存储目录 -->
         <property>
             <name>hadoop.tmp.dir</name>
             <value>/home/hadoop/hadoop-2.4.1/tmp</value>
     </property>
         
     第三个：hdfs-site.xml   hdfs-default.xml  (3)
         <!-- 指定HDFS副本的数量 -->
         <property>
             <name>dfs.replication</name>
             <value>1</value>
     </property>
         
     第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
         mv mapred-site.xml.template mapred-site.xml
         vim mapred-site.xml
         <!-- 指定mr运行在yarn上 -->
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
     </property>
         
     第五个：yarn-site.xml
         <!-- 指定YARN的老大（ResourceManager）的地址 -->
         <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>weekend-1206-01</value>
     </property>
         <!-- reducer获取数据的方式 -->
     <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
      </property>7.格式化：
hdfs namenode -format
8.启动sbin/start-dfs.sh
9.启动sbin/start-yarn.sh
10.jps验证一下