1、下载jdk

​​http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html​​

  

hadoop2.7部署_spark

2、下载hadoop

​​http://mirrors.cnnic.cn/apache/hadoop/common/stable/​​

下载hadoop-2.7.1.tar.gz文件

hadoop-2.7.1.-src.tar.gz为源代码文件

3、安装jdk

配置路径

# yumh add 
JAVA_HOME=/usr/lib/java-1.8.0/jdk1.8.0_121
JRE_HOME=/usr/lib//usr/lib/java-1.8.0/jdk1.8.0_121/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export JAVA_HOME JRE_HOME CLASS_PATH PATH

 

4、测试成功

  java -version

5、安装ssh

  apt-get install ssh

6、测试ssh安装结果

 ps -e   |  grep ssh

cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys  # 加入授权

修改配置文件/hadoop/etc/hadoop/下的hadoop-env.sh文件

将export JAVA_HOEM=${JAVA_HOME}修改为

   export JAVA_HOEM= 路径/java/jdk1.7.0_79

修改hadoop配置文件/conf/下的hadoop-env.sh文件

添加或修改JAVA_HOME

命令： echo $JAVA_HOME

显示JAVA_HOME的配置路径

export  JAVA_HOME=路径

使修改后的文件生效

source  hadoop-env.sh

 

系统配置样例

export HADOOP_HOME=/home/yumh/hadoop-2.6.0
 export PATH=$PATH:$HADOOP_HOME/bin
 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

 export SPARK_HOME=/home/yumh/spark-1.6.0-bin-hadoop2.6
 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
 export SCALA_HOME=/usr/lib/scala-2.11.6
 export PATH=$PATH:$SCALA_HOME/bin
 export SPARK_LOCAL_IP=192.168.122.65