hdfs 修改用户的拥护者组 hdfs 用户名密码

转载

jiecho 2024-04-26 11:44:24

文章标签 hdfs 修改用户的拥护者组 hadoop IP 免密码 文章分类 架构后端开发

一、安装要求

安装JDK
　　yum -y install jdk(或手动安装）
设置namenode节点到datanode节点的免密码登陆
　　a. 本地免密码登录
　

# ssh localhost       #检测能否在本机上实现免密码登陆
    　　# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   #创建登陆的公钥和私钥，公钥放在id_dsa.pub中，私钥放在id_dsa中
    　　# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  #将公钥追加到已认证信息中
    　　# ssh localhost      #实现免密码登陆

　　b. 跨主机免密码登陆
　

# scp ~/.ssh/id_dsa.pub  root@node2:~/.ssh/          #在namenode上执行
    　　# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  #将公钥追加到已认证信息中，在datanode上执行该操作

　　c. 对所有的datanode执行上述操作
设置域名解析（在所有的节点增加）

# vi /etc/hosts  # 增加节点对应节点，如果不加入节点则在配置文件中需要直接写节点的IP
      192.168.150.128  node1
      192.168.150.129  node2
      192.168.150.130  node3
      192.168.150.131  node4

二、安装

由于hadoop有bin包，所以hadoop下载后只需要解压即可使用。
版本hadoop-1.2.1
namenode和datanode上软件包的放置位置要完全相同，否则在集群启动服务的时候会出现找不到文件的情况。
在软件解压到/root/hadoop-1.2.1文件夹

三、配置

核心模块的配置

#vi  /root/hadoop-1.2.1/conf/core-site.xml
    <configuration>
         <property>              <name>fs.default.name</name>     # namenode节点名
              <value>hdfs://node1:9000</value>  #namenode域名（或IP）和端口
         </property>
         <property>
              <name>hadoop.tmp.dir</name> #文件储存目录
              <value>/opt/hadoop-1.2</value>  #fs的放置位置
         </property>
    </configuration>
    其它具体配置可以查看./hadoop-1.2.1/docs的文档。
  #vi  /root/hadoop-1.2.1/conf/hdfs-site.xml
    <configuration>            <name>dfs.replication</name>  #block的副本数，不能超过datanode的数目
            <value>2</value>
    </configuration>
  #vi  /root/hadoop-1.2.1/conf/slaves #该文件设置datanode节点的域名（IP）
    node2
    node3
  #vi  /root/hadoop-1.2.1/conf/masters  #该文件设置secondarynamenode节点的域名（IP）
    node2   # 只要跟namenode不在同一台机器上即可
  
  #vi  /root/hadoop-1.2.1/conf/hadoop-env.sh  #设置运行环境    export JAVA_HOME=/usr/java/jdk1.7.0_79  # 只要设置jdk的目录即可

在所有的节点上进行上述的相同配置。

四、测试

# /root/hadoop-1.2.1/bin/hadoop namenode -format    #进行格式化，创建dfs
  # /root/hadoop-1.2.1/bin/start-dfs.sh   #启动dfs服务  # jps  #查看启动的java进程（namenode上）
    
  # jps  #查看启动的java进程（datanode上）

在浏览器上输入namenode的IP和端口，即可进入文件系统
http://192.168.150.128:50070 注意：如果要进入子目录，那么要在windows上hosts文件也设置同样的域名解析，否则浏览器会提示错误，因为没有对应的ip时浏览器会访问外网。
文件传输和执行java程序

# /root/hadoop-1.2.1/bin/hadoop -fs -put   file   input  #将file文件传输到文件系统的root用户下的input目录
    # /root/hadoop-1.2.1/bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'  # 执行jar程序
    
    # /root/hadoop-1.2.1/bin/hadoop fs -get output output   获取并在本地文件系统中显示数据
    # cat output/*
    或 #/root/hadoop-1.2.1/bin/hadoop fs -cat output/*
  关闭进程
    # /root/hadoop-1.2.1/bin/stop-dfs.sh