Hadoop的简介:
搭建的目的:
将文件复制到脚本里的指定路径
脚本解释
安装完成,重启生效
验证
其他主机操作类似,需修改脚本的IP地址和主机名
slave-1配置
验证
slave-3配置
验证
slave-3配置
验证
在master上配置SSH密钥对要求master免密码登录各slave,用于开启相应服务。
Master无密码连接slave,先切换hadoop用户,用ssh-keygen按照默认配置直接按Enter键生成密钥对
通过ssh-copy-id将公钥复制至3个slave主机中,复制过程需要输入slave主机的hadoop用户密码,作用是master远程启动slave。
确定hadoop用户对文件的属主和属组权限
配置hadoop
复制文件,并给权限
如果是手动修改需要修改以下地方
由master通过SSH安全通道把刚才配置的6个文件复制给每个slave
slave需要对文件有755权限
初始化master
检查新生成的目录
启动hadoop群集(开机hadoop的冗余功能)
启停hadoopde的管理命令位于@HADOOP_HOME/sbin下,以start-*或stop-*开头;单独启动HDFS分布式文件系统可使用start-dfs.sh,也可以使用以下命令启动整个hadoop集群。
通过jps查看各节点上的进程是否正常
验证访问
hadoop基本命令
使用“hadoopfs”命令可以结合普通的文件管理命令实现很多操作,如查看、修改权限、统计、获取帮助、创建、删除、上传下载文件等,更多的用法可使用“hadoop fs -help”或“hadoop”命令查看。
查看节点状态
HDFS高级命令
开机安全模式
将本地文件复制到HDFS上
将HDFS上的文件复制到本地
修改属组
修改权限
修改所有者
统计显示目录中文件大小
合并文件
为HDFS集群添加节点
slave4节点安装jdk与hadoop,配置环境变量
复制hosts文件到每台服务器
配置ssh无密码连接
在master上修改hadoop后,复制到其他节点
新节点上启动并平衡节点以及存储的数据
查看集群信息
删除DataNode节点
添加要删除的节点
刷新配置
查看集群信息
hadoop集群搭建完成!
总结:需要懂得原理加强自身不断完善自己!