aiface用户配置(若配置权限不够,使用sudo配置,前提在visudo文件为用户加入sudo权限)
1、安装jdk
a)下载jdk-8u65-linux-x64.tar.gz(二进制文件)
b)创建文件夹
$>mkdir ~/Downloads 放下载的文件
$>sudo mkdir /soft 放安装好的文件
c)修改文件夹访问组权限
$>chown aiface:aiface /soft
d)把文件拷贝到
$>cp /mnt/hgfs/jdk-8u65-linux-x64.tar.gz ~/Downloads
e)tar开文件
$>cd ~/Downloads
$>tar -xzfv jdk-8u65-linux-x64.tar.gz
f)移动tar开文件到/soft下
$>mv ~/Downloads/jdk-1.8.0.65 /soft
g)创建符号连接
$>cd /soft
$>ln -s jdk-1.8.0.65 jdk
h)验证jdk安装是否成功,出现版本信息则成功
$>/soft/jdk/bin/java -version
2、配置java环境变量
a)sudo nano /etc/profile
b)在文档最低下添加配置
export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin
c)更新变量
source /etc/profile
d)在非jdk/bin目录下测试,有出现版本信息则成功
$>java -version
3、安装hadoop
a)下载hadoop-2.7.3.tar.gz(二进制文件)
b)
c)
d)把文件拷贝到
$>cp /mnt/hgfs/hadoop-2.7.3.tar.gz ~/Downloads
e)tar开文件
$>cd ~/Downloads
$>tar -xzfv hadoop-2.7.3.tar.gz
f)移动tar开文件到/soft下
$>mv ~/Downloads/hadoop-2.7.3 /soft
g)创建符号连接
$>cd /soft
$>ln -s hadoop-2.7.3 hadoop
h)验证hadoop安装是否成功,出现版本信息则成功
$>/soft/hadoop/bin/hadoop version
4、配置hadoop环境变量
a)sudo nano /etc/profile
b)在文档最低下添加配置
export HADOOP_HOME=/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
c)更新变量
source /etc/profile
d)在非hadoop/bin目录下测试,有出现版本信息则成功
$>hadoop version
5、配置无秘SSH
a)检查是否安装了ssh
$>yum list installed | grep ssh
出现下面信息则已经安装,否则通过yum安装这些
libssh2.x86_64 1.4.3-10.el7_2.1 @anaconda
openssh.x86_64 7.4p1-11.el7 @anaconda
openssh-clients.x86_64 7.4p1-11.el7 @anaconda
openssh-server.x86_64 7.4p1-11.el7 @anaconda
yum安装
$>sudo yum install openssh-clients
$>sudo yum install openssh-server
b)检查是否启动sshd进程,测试是否可用
$>ps -ef | grep sshd
出现下面信息则启动了
root 1068 1 0 15:18 ? 00:00:00 /usr/sbin/sshd -D
$>ssh localhost
password:-------
c)在client生成公私密匙对(第一次使用ssh远程登陆时会自动在~/.ssh生成相对应的隐藏文件夹)
$>cd ~/.ssh
$>ssh-keygen -t rsa -P '' -f ~/.ssh
生成公私密钥对:id_rsa(私钥) id_rsa.pub(公钥)
d)在~/.ssh文件夹复制公钥文件内容追加到到本目录下的authorized_keys文件中
$>cat id_rsa.pub >> authorized_keys
e)centos需要修改authorized_keys访问权限
$>chmod 664 authorized_keys
f)通过ssh localhost测试是否设置成功,第一次需要密码,第二次就无需设置密码
6、配置伪分布模式
a)cd $HADOOP_HOME/etc/hadoop
b)编辑core-site.xml
$>sudo nano core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
c)编辑hdfs-site.xml
$>sudo nano hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
d)编辑mapred-site.xml
$>sudo nano mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
e)编辑yarn-site.xml
$>sudo nano yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
f)配置hadoopenv.sh文件(不配置在下面格式化的时候会出现找不到JAVA_HOME)
$>nano /soft/hadoop/etc/hadoop/hadoop-env.sh
在文档尾部添加java jdk文件目录
export JAVA_HOME=/soft/jdk
g)配置profile文件
$>nano /etc/profile
在文档尾部添加
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
h)使用namenode -format格式化(Exittion with status 0是成功,Exittion with status 1是失败)
切换成root账号
$>hdfs namenode -format
i)接着开启NameNode和DataNode守护进程
$>start-dfs.sh
$>start-all.sh
若出现SSH提示“Are you sure you want to continue connecting",输入yes
j)通过jps判断是否成功启动
$>jps
出现NameNode,DataNode,SecondaryNameNode则启动成功
k)在客户机和服务器上通过web界面打开http://localhost:50070查看NameNode和Datanode信息,还可以在线查看HDFS中的文件
















