1、修改服务器的主机名

    a、可以通过hostname进行临时性的修改，但为便于管理，需直接进行永久性的修改

    b、永久性的修改，可以直接修改/etc/sysconfig/network中的hostname名称  

    c、修改/etc/hosts域名映射，采用外网ip进行映射


hadoop修改文本 hadoop怎么改文件名_hadoop

 

2、srt上传文件

    通过点击打开SFTP连接窗口，相关命令如下：    

    服务器命令不变，本地命令为在服务器命令之前加一个l,代表本地

    如：cd/lcd,ls/lls

    上传文件是put,上传某个目录下的所有文件可以采用put ./*

    下载文件是get,下载某个目录下的所有文件可以采用get ./*

 

3、jdk的安装（先把安装包上传到指定的目录下）    

     3.1、解压释放文件，如tar -zvxf jdk-7u79-linux-x64.tar.gz

hadoop修改文本 hadoop怎么改文件名_hadoop_02

     

hadoop修改文本 hadoop怎么改文件名_服务器_03

     3.2、在/etc/profile文件中配置JAVA_HOME路径,如：

         JAVA_HOME=/opt/soft/jdk1.7.0_79

         PATH=$PATH:$JAVA_HOME/bin

         export JAVA_HOME PATH

                  

hadoop修改文本 hadoop怎么改文件名_服务器_04

      3.3、保存/etc/profile文件，通过source /etc/profile进行更新操作

      3.4、通过java -version查询是否安装成功

4.ssh面密码登陆

    4.1 现在客户端机器上通过命令ssh-keygen -t rsa生成一对公钥和私钥    

    4.2 将客户端上面的私钥通过scp命令传输到服务器上，例如：

          scp id_rsa.pub root@vdata2:/root    

    4.3 cat id_rsa.pub >>/root/.ssh/authorized_keys

     

hadoop修改文本 hadoop怎么改文件名_hadoop修改文本_05

5、关闭服务器的防火墙

    5.1 通过service iptables stop命令进行关闭，然后可以

         通过service iptables status命令进行查看

    5.2 关闭防火墙自动开启的功能，命令如下

         chkconfig iptables off

         可以通过chkconfig --list |grep iptables进行查看

                        

hadoop修改文本 hadoop怎么改文件名_hadoop修改文本_06

6、hadoop集群的安装    

    6.1 先打通服务器上面的免密码登陆，并安装jdk1.7

    6.2 下载hadoop安装包，并上传到服务器对应的管理目录下

    6.3 然后将安装包进行解压，如tar -zxvf hadoop.tar.gz

hadoop修改文本 hadoop怎么改文件名_hadoop修改文本_07

    6.4 修改相关配置文件

hadoop修改文本 hadoop怎么改文件名_hadoop_08

        6.4.1 修改hadoop-env.sh配置文件，添加JAVA_HOME

        6.4.2 修改yarn-env.sh配置文件，添加JAVA_HOME

                         

hadoop修改文本 hadoop怎么改文件名_JAVA_09

 

                         

hadoop修改文本 hadoop怎么改文件名_hadoop_10

                       

hadoop修改文本 hadoop怎么改文件名_JAVA_11

        6.4.3 修改slaves配置文件，添加相关从节点的主机名

                                        

hadoop修改文本 hadoop怎么改文件名_hadoop_12

        6.4.4 修改core-site.xml配置文件，添加如下内容 

       

<property>
               <name>fs.default.name</name>
               <value>hdfs://gyb:9000</value>  <!--主节点名称-->
               <description>change your own hostname</description>
         </property>
         <property>
               <name>hadoop.tmp.dir</name>     <!--临时数据目录-->
               <value>/opt/workspace/hadoop/tmp</value>
         </property> 
         <property>
              <name>fs.checkpoint.dir</name>
              <value>/opt/workspace/hadoop/hdfs/namesecondary</value>
         </property> 
         <property>
              <name>fs.trash.interval</name>
              <value>10800</value>
         </property>

                    

hadoop修改文本 hadoop怎么改文件名_hadoop_13

        6.4.5 修改hdfs-site.xml配置文件，添加如下内容

     

<property>
                    <name>dfs.replication</name>   <!--副本数-->
                    <value>1</value>
             </property>
             <property>
                    <name>dfs.permissions</name>  <!--权限开关-->
                    <value>false</value>
             </property>
             <property>
                    <name>dfs.name.dir</name>
                    <value>/opt/workspace/hadoop/hdfs/name</value>
             </property>
             <property>
                    <name>dfs.data.dir</name>  
                    <value>/opt/workspace/hadoop/hdfs/data</value>
             </property>

                        

hadoop修改文本 hadoop怎么改文件名_hadoop修改文本_14

        6.4.6 修改 mapred-site.xml配置文件
           

<property>
                     <name>mapreduce.framework.name</name>  <!--指定采用yarn平台分布式-->
                     <value>yarn</value>
            </property>
            <property>
                   <name>mapred.local.dir</name>
                   <value>/opt/workspace/hadoop/mapred/local</value>
            </property>
            <property>
                    <name>mapred.system.dir</name>
                    <value>/opt/workspace/hadoop/mapred/system</value>
            </property>
            <property>
                   <name>mapred.temp.dir</name>
                   <value>/opt/workspace/hadoop/mapred/temp</value>
            </property>
            <property>
                   <name>mapreduce.jobhistory.address</name>
                   <value>gyb:10020</value>
           </property>
           <property>
                  <name>mapreduce.jobhistory.webapp.address</name>
                  <value>gyb:19888</value>
          </property>

                      

hadoop修改文本 hadoop怎么改文件名_hadoop_15

        6.4.7 修改yarn-site.xml配置文件
       

<property>
                    <name>yarn.resourcemanager.hostname</name><!--指定yarn平台主节点-->
                    <value>gyb</value>
            </property>
            <property>    
                   <name>yarn.nodemanager.aux-services</name>    
                   <value>mapreduce_shuffle</value>    
            </property> 
            <property>    
                    <name>yarn.log-aggregation-enable</name>    
                    <value>true</value>    
            </property> 
            <property>    
                   <name>yarn.log-aggregation.retain-seconds</name>    
                   <value>8640000</value>    
           </property>
           <property>    
                   <name>yarn.nodemanager.remote-app-log-dir</name>    
                   <value>/tmp/logs</value>    
           </property>

               

hadoop修改文本 hadoop怎么改文件名_hadoop_16

        6.4.8  将相关的配置文件复制到其它的子节点上，如下：

         

scp * root@vdata3:/opt/soft/hadoop-2.6.0-cdh5.5.0/etc/hadoop/

        6.4.9 格式化namenode,命令如下：

         

hdfs namenode -format

            为了执行命令方便可以将HADOOP_HOME配置到/etc/profile的path路径下

        6.4.10 启动集群，可以通过如下命令方式

       

start-all.sh       /stop-all.sh

hadoop修改文本 hadoop怎么改文件名_hadoop修改文本_17