一、Hadoop安装方式
1.Local (Standalone) Mode
单机安装方式,如果不进行配置,这是Hadoop的默认方式,作为一个单独的Java
运行。适合于本地调试程序。
不需要对配置文件进行修改
使用本地文件系统,而不是HDFS
2.Pseudo-Distributed Mode
伪分布式安装方式
在一台机器上模拟多主机运行状态。Hadoop会启动NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager节点,
但是在一台机器上运行。
使用HDFS(分布式文件系统)
需要修改配置文件
3.Fully-Distributed Mode
完全分布式
二、Hadoop安装环境要求
1.需要安装jdk环境
java -version
如果没有安装jdk环境,需要先安装jdk环境,因为Hadoop是运行在Java环境的
三、创建Hadoop用户
1.增加hadoop用户
useradd -m hadoop -s /bin/bash
2.创建hadoop用户密码
passwd hadoop
3.查看hadoop用户是否存在以及所在组
cat /etc/passwd //查看用户命令
cat /etc/group //查看组命令
4.root用户切换到hadoop用户
su hadoop //从超级用户(root)切换到普通用户不需要密码
三、Hadoop安装
1.下载Hadoop压缩包
本安装使用的是hadoop2.8.5版本 下面是官方下载地址
https://archive.apache.org/dist/hadoop/common/hadoop-2.8.5/
2.解压Hadoop压缩包
tar -axvf hadoop-2.8.5.tar.gz
3.修改配置文件(/home/hadoop/hadoop-2.8.5/etc/hadoop)
//在本地查看java_home位置
echo $JAVA_HOME
(1)修改hadoop-env.sh文件
把JAVA_HOME修改为自己的环境位置
(2)修改core-site.xml文件 把configuration里面内容修改为如下(其中HDFS端口号9000 需要记住 后面spark请求HDFS中文件需要用到)
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/hadoop-2.8.5/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
~
(3)修改hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop-2.8.5/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop-2.8.5/tmp/dfs/data</value>
</property>
</configuration>
因为是伪分布模式,所以副本的数量设置为1就可以。
(4)配置Hadoop环境变量(可不配置 需要进入Hadoop的bin目录去执行开启进程脚本)
//修改profile文件
sudo vim /etc/profile
进入以后配置HADOOP_HOME变量,并在PATH中添加
执行命令 让其立即生效
source /etc/profile
4.配置ssh免密登录
因为伪分布式只有一台机器 只需要设置在本机免密登录就可以
(1)生成公钥私钥对只需要一直按Enter就可以
ssh-keygen -t rsa
(2)暴露公钥 (执行命令后 提示输入yes 并再次输入hadoop用户密码)
ssh-copy-id localhost
免密登录完成
5.启动hadoop (因为只配置了hdfs,没有配置yarn,所以不要用start-all.sh脚本)
(1) 格式化
hadoop namenode -foramt
如果出现如下标记 格式化成功
(2)启动hadoop
start-dfs.sh
(3)jsp查看
jps
说明启动成功。