Zookeeper的部署
将我们从官网下载的zookeeper压缩包通过外部连接器传到某个文件夹内。这里推荐在根目录的opt文件夹中。通过命令行进行解压缩,这里是解压在当前目录。
解压成功后为了方便后续我们的操作,我们在这里给解压后的文件重命名一下,zookeeper为我们命名后的文件名。
之后我们cd到zookeeper/conf找到zoo_sample.cfg将它通过命令copy一下命名为zoo.cfg
之后我们vi这个copy后的文件,在文件里面添加我们要用到的内容
service.N =YYY: A:B
N:代表服务器编号(也就是myid里面的值)
YYY:服务器地址
A:表示 Flower 跟 Leader的通信端口,简称服务端内部通信的端口(默认2888)
B:表示 是选举端口(默认是3888)
注意:
如果在第四个位置内容有改动的话要手动创建改动的文件,如果没有改动的话,请忽略。例如这里就有改动所以要主动创建文件:
在创建好的文件夹里我们需要创建我们的节点文件
如果没有改动的话cd到tmp/zookeeper(默认在这个目录)内创建文件
之后,我们将配置好的文件添加到环境变量中,这里推荐添加到用户环境变量
在环境变量中添加上我们需要用到的内容 ,
之后我们将所有 配置文件通过scp发送到我们另外两个从节点上包括我们的环境
部署成功后启动就是这个样子的,follower这个状态是正常的。
Hive部署
1、本地模式
在线下载MySQL
wget http://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql80-community-el7/mysql80-community-release-el7-1.noarch.rpm
安装MySQL
rpm -ivh mysql80-community-release-el7-1.noarch.rpm
使用yum源安装MySQL服务
yum install mysql-server
出现错误GPG验证不通过,我理解是本机配置的这个软件包对应的公钥不对,签名验证失败。
更新公钥
MySQL服务安装成功
MySQL数据库安装成功后需要的操作
- 查看是否开机启动,图中是开机启动
- 启动MySQL
- 初始化MySQL
- 查看MySQL临时密码
- 登录MySQL,此时我们需要更改密码否则会出现错误,无法进行任何操作
在官网下载好我们需要的hive版本包之后按照之前的解压、重命名。将Hive添加到我们的用户环境中。
cd到Hive安装目录下的conf目录,我们将hive-env.sh.template进行复制跟重命名为hive-env.sh
执行“vi hive-env.sh”命令编辑文件,在文件的末尾添加如下内容:
export HADOOP_HOME=/bigdata/hadoop #Hadoop的路径
export HIVE_CONF_DIR=/bigdata/hive/conf #conf的路径
export HIVE_AUX_JARS_PATH=/bigdata/hive/lib
export JAVA_HOME=/bigdata/jdk #jdk的路径
export HIVE_HOME=/bigdata/hive #hive的路径
保存退出后,进入hive的conf目录,通过命令行创建文件:
touch hive-site.xml
在hive-site.xml添加如下内容,其中圈出来的分别是登录MySQL账号,密码,授权的用户主机名,MySQL存在的数据库:
其中授权MySQL登录的用户可以通过以下命令查看:
将我们需要用到的MySQL的jdbc的驱动包添加到hive的lib目录里面。
最后初始化Hive
出现这个就表示成功了!!!!!
最后,让我们看一下我们配置好的hive,这样就是成功了。