1. 完成hadoop安装配置

在Linux操作系统的ECS实例上安装hadoop

  1. 以上已安装并配置完jdk、hadoop
  2. 也搭建了伪分布集群

2. 安装配置MySql

安装

下下一步初始化Hive元数据库时,遇到报错前一天两三小时没解决,问题定位在mysql,次日打算重装

linux卸载mysql8重装5

配置

  1. 登录mysql
  2. 设置root远程连接
use mysql
select user, host from user;
update user set host="%" where user="root";
select user, host from user;
flush privileges;
create database metastore; # 准备下一步配置元数据到MySQL
exit

3. 安装Hive

  1. hive阿里云镜像:https://mirrors.aliyun.com/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
  2. 用wget 下载
wget https://mirrors.aliyun.com/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
  1. 我解压hive安装包至/opt/hive
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/
mv /opt/apache-hive-3.1.2-bin /opt/hive

如何连接hive数据库执行插入操作 hive怎么连接_面试

  1. 加上hive环境变量
echo 'export HIVE\_HOME=/opt/hive/' >> /etc/profile
echo 'export PATH=$PATH:$HIVE\_HOME/bin' >> /etc/profile
source /etc/profile    

hive --version
  1. 初始化 Hive 的元数据存储结构
schematool -dbType derby -initSchema

如何连接hive数据库执行插入操作 hive怎么连接_学习_02

先测试下,后面改完hive与mysql的相关配置后再-dbType mysql

4. 配置元数据到MySQL

  1. 拷贝JDBC
cp mysql-connector-java-5.1.49.jar $HIVE_HOME/lib
  1. 添加hive配置文件
vi $HIVE_HOME/conf/hive-site.xml
<!--指定Hive元数据存储的JDBC连接URL -->
		<property>
           <name>javax.jdo.option.ConnectionURL</name>
           <value>jdbc:mysql://localhost:3306/metastore?useSSL=false</value>
        </property>
        
 		 <!--指定JDBC驱动程序的名称,mysql5这么写-->
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        
		<!--指定Hive数据仓库的默认位置-->
		 <property>
	              <name>hive.metastore.warehouse.dir</name>
	              <value>/user/hive/warehouse</value>
        </property>
        <!--指定连接MySQL数据库的密码-->
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>sql密码</value>
        </property>
  1. 采用MySQL存储元数据
schematool -dbType mysql -initSchema -verbose

这步真的遇到很多问题,就到处看帖子把和我报错信息一样的都拿来试试…实在不行就重装咯毕竟不懂什么底层逻辑…

如何连接hive数据库执行插入操作 hive怎么连接_如何连接hive数据库执行插入操作_03

  1. 使用hive
hive> show databases;
hive> show tables;
hive> create table stu(id int, name string);
hive> insert into stu values(1,"ss");
hive> select \* from stu;

5. hiveserver2服务