Hadoop3.X伪分布式安装配置

安装SSH,配置SSH无密码登录

Hadoop中的集群单点模式需要使用到ssh登录,ubantu默认参数了SSH client,此外我们还需要安装SSH Server。

执行如下命令

sudo apt-get install openssh-server

使用ssh登录远程服务器

ssh localhost

ssh首次登陆会有如下提示

hadoop怎么看ssh密码 hadoop的ssh配置_hadoop

填yes继续再输入密码即可

再配置成无密码登录

退出刚才的ssh

exit

进入到ssh目录里

cd ~/.ssh/

生成密钥,会有提示,全按回车

hadoop怎么看ssh密码 hadoop的ssh配置_hadoop_02

将密钥加入授权

hadoop怎么看ssh密码 hadoop的ssh配置_hadoop怎么看ssh密码_03

安装Java环境

更新软件包列表

hadoop怎么看ssh密码 hadoop的ssh配置_ssh_04

下载Java安装包

hadoop怎么看ssh密码 hadoop的ssh配置_hadoop怎么看ssh密码_05

安装完成以后查看信息

hadoop怎么看ssh密码 hadoop的ssh配置_linux_06

现在配置Java环境

hadoop怎么看ssh密码 hadoop的ssh配置_linux_07

在最顶端输入

hadoop怎么看ssh密码 hadoop的ssh配置_hadoop_08

需要让该环境变量生效需执行如下命令

hadoop怎么看ssh密码 hadoop的ssh配置_分布式_09

查看环境变量是否生效

hadoop怎么看ssh密码 hadoop的ssh配置_分布式_10

安装Hadoop

安装包从这里下载

https://hadoop.apache.org/releases.html

hadoop怎么看ssh密码 hadoop的ssh配置_linux_11

下载此格式的文件,下载好了之后在你想安装的路径下解压

我的是在/usr/local里

hadoop怎么看ssh密码 hadoop的ssh配置_ssh_12

然后修改文件夹名为hadoop,提权

hadoop怎么看ssh密码 hadoop的ssh配置_ssh_13

查看Hadoop是否可用

hadoop怎么看ssh密码 hadoop的ssh配置_hadoop_14

如图所示,安装完毕。

Hadoop运行

Hadoop默认为非分布式模式,无需进行其他配置即可运行,非分布式即单Java模式,方便进行调试。

Hadoop伪分布式配置

Hadoop可以在单节点上以伪分布式的方式运行,Hadoop进程以分离的Java进程来运行

在Hadoop安装包的/etc/hadoop目录下修改core-site.xml文件

hadoop怎么看ssh密码 hadoop的ssh配置_linux_15

在Hadoop安装包的/etc/hadoop目录下修改hdfs-site.xml文件

hadoop怎么看ssh密码 hadoop的ssh配置_linux_16

在Hadoop安装包的/etc/hadoop目录下修改hadoop-env.sh文件

hadoop怎么看ssh密码 hadoop的ssh配置_分布式_17

以此命令初始化进程

hdfs namenode -format

以此命令启动Hadoop

start-all.sh

可通过jps命令查看是否启动成功

hadoop怎么看ssh密码 hadoop的ssh配置_hadoop_18

如图Hadoop伪分布式配置完成!