hadoop大数据平台基础大数据hadoop入门教程

转载

架构领航员 2023-07-20 17:52:14

文章标签 hadoop大数据平台基础 java hadoop hdfs 文章分类 Hadoop 大数据

文章目录

HDFS的操作环境配置

免密码登录Linux系统的步骤

第一步：通过该命令获得密钥
第二步：复制文件
第三步：免密登录

jdk的配置
部署HDFS的环境

解压hadoop文件
java的二次配置
配置core-site.xml 核心配置NameNode
配置hdfs-site.xml 基础配置SecondaryNode
配置slaves文件
格式化hdfs 非常重要
启动集群
角色进程查看：jps
hadoop安装成功的标志
关闭防火墙
配置主机名

详情看这个博客

hadoop大数据平台基础大数据hadoop入门教程_hdfs

hadoop大数据平台基础大数据hadoop入门教程_hadoop大数据平台基础_02

hadoop大数据平台基础大数据hadoop入门教程_hadoop_03

hadoop大数据平台基础大数据hadoop入门教程_hdfs_04

HDFS的操作环境配置

免密码登录Linux系统的步骤

免密原理

hadoop大数据平台基础大数据hadoop入门教程_hadoop_05

第一步：通过该命令获得密钥

ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa

hadoop大数据平台基础大数据hadoop入门教程_hdfs_06

第二步：复制文件

cat id_dsa.pub >> authorized_keys

hadoop大数据平台基础大数据hadoop入门教程_hadoop大数据平台基础_07

同时查看两个文件

cat id_dsa.pub  authorized_keys

hadoop大数据平台基础大数据hadoop入门教程_java_08

第三步：免密登录

ssh root@localhost

hadoop大数据平台基础大数据hadoop入门教程_hadoop_09

退出

exit

hadoop大数据平台基础大数据hadoop入门教程_hadoop_10

jdk的配置

先卸载open-jdk

查看linux上是否存在已经安装好的JDK javac
java –version

rpm -qa | grep java
查看本机上所有已经安装成功的软件,只查看和java相关的

删除linux自带jdk（注意每个Linux默认安装的jdk不一样你要先查好你自己的jdk版本）
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.i686
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.i686

开始安装：
mkdir /usr/local/src/java

FileZilla_3.7.3_win32 上传jdk tar包

cd /usr/local/src/java
将jdk压缩包进行解压
tar -zxvf jdk-7u71-linux-i586.tar.gz

安装依赖包:
yum install glibc.i686
(需要联网)

配置环境变量：
① vim /etc/profile

② 在末尾行添加

#set java environment
JAVA_HOME=/usr/local/src/java/jdk1.7.0_71
PATH=$JAVA_HOME/bin:$PATH
export PATH=$PATH:$JAVA_HOME/bin

保存退出
③source /etc/profile 使更改的配置立即生效
④java -version 查看JDK版本信息，如果显示出1.7.0证明成功

部署HDFS的环境

解压hadoop文件

先将Hadoop上传到root用户目录下
然后解压Hadoop
tar xf hadoop-2.6.5.tar.gz
然后在opt （专门存放外来文件的）下创建文件
mkdir /opt/sxt
然后把解压好的Hadoop剪切过去
mv hadoop-2.6.5 /opt/sxt/
然后配置环境变量非常重要
vi /etc/profile

#set java environment
export JAVA_HOME=/usr/local/src/java/jdk1.7.0_71
export HADOOP_HOME=/opt/yrq/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置完成后记得
source /etc/profile 或者 . /etc/profile

java的二次配置

在下面的这些文件中
vi hadoop-env.sh vi mapred-env.sh vi yarn-env.sh 里面的JAVA_HOME全部替换成绝对路径
/usr/local/src/java/jdk1.7.0_71

配置完成后记得
source /etc/profile

配置core-site.xml 核心配置NameNode

vi core-site.xml

其中Daniel是主机名

<!--配置NameNode的服务地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://Daniel:9000</value>
    </property>
<!--扩展hdfsd的路径-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop_yrq/local</value>
    </property>

配置hdfs-site.xml 基础配置SecondaryNode

vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--NameNode备份服务-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Daniel:50090</value>
    </property>
</configuration>