Hadoop3.X伪分布式安装配置
安装SSH,配置SSH无密码登录
Hadoop中的集群单点模式需要使用到ssh登录,ubantu默认参数了SSH client,此外我们还需要安装SSH Server。
执行如下命令
sudo apt-get install openssh-server
使用ssh登录远程服务器
ssh localhost
ssh首次登陆会有如下提示
填yes继续再输入密码即可
再配置成无密码登录
退出刚才的ssh
exit
进入到ssh目录里
cd ~/.ssh/
生成密钥,会有提示,全按回车
将密钥加入授权
安装Java环境
更新软件包列表
下载Java安装包
安装完成以后查看信息
现在配置Java环境
在最顶端输入
需要让该环境变量生效需执行如下命令
查看环境变量是否生效
安装Hadoop
安装包从这里下载
https://hadoop.apache.org/releases.html
下载此格式的文件,下载好了之后在你想安装的路径下解压
我的是在/usr/local里
然后修改文件夹名为hadoop,提权
查看Hadoop是否可用
如图所示,安装完毕。
Hadoop运行
Hadoop默认为非分布式模式,无需进行其他配置即可运行,非分布式即单Java模式,方便进行调试。
Hadoop伪分布式配置
Hadoop可以在单节点上以伪分布式的方式运行,Hadoop进程以分离的Java进程来运行
在Hadoop安装包的/etc/hadoop目录下修改core-site.xml文件
在Hadoop安装包的/etc/hadoop目录下修改hdfs-site.xml文件
在Hadoop安装包的/etc/hadoop目录下修改hadoop-env.sh文件
以此命令初始化进程
hdfs namenode -format
以此命令启动Hadoop
start-all.sh
可通过jps命令查看是否启动成功
如图Hadoop伪分布式配置完成!