hive 不使用mysql hive配置mysql

转载

技术领航员 2023-07-14 11:35:34

文章标签 hive 不使用mysql 数据库大数据操作系统 hive 文章分类 Hive 大数据

一、MySQL的安装

元数据信息。

derby数据库来存储。即hive工作时，除了要依赖Hadoop，还要依赖关系型数据库。

　　注意：虽然我们能通过HDFS查看到hive有哪些数据库，有哪些表，以及表里的数据，但是，这不是元数据信息。HDFS最主要的是存储hive的数据信息。

之前遇到的问题：当退出后，切换到不同的目录来进入hive，发现库和表没有了，是因为，第一次从bin目录进入hive,会在bin目录下创建一个metastore.db目录，在这个目录下，创建一个derby.log文件来存储

元数据信息。这个元数据信息是基于bin目录来创建的。而切换到其他目录进入hive时，查询时不是基于bin目录来查询的，所有查不到元数据信息，导致查不到。这个问题是derby数据库本身的问题，所以，我们不能用derby数据库，此外，用derby数据库，也不支持并发，比如一个人在操作hive，如果此时有其他人想用hive，用不了。所以我们选择用mysql数据库。目前hive支持derby和mysql两种数据库。

　Linux下mysql的安装过程：Linux下的MySQL安装

二、Hive的mysql配置步骤

①删除HDFS中的/usr/hive

　　　　执行：hadoop fs -rmr /user/hive(需要启动hadoop)

②将mysql驱动包上传至hive的安装目录的lib目录下

　　　　我这里采用rz命令来上传：mysql-connector-java-5.1.38-bin.jar

③在hive/conf添加配置文件，名字为：hive-site.xml

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoopalone:3306/hive?createDatabaseIfNotExist=true</value>　　//mysql的url
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name> //mysql的用户名
        <value>root</value> 
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name> //mysql的密码
        <value>root</value>
    </property>
</configuration>

　　如图所示，添加如下配置

④进入hive ,进入bin目录，执行：sh hive　

　　如果出现：
　　Access denied for user 'root'@'hadoop01' (using password: YES）这个错误，指的是当前用户操作mysql数据库的权限不够。

⑤进入到mysql数据库，进行权限分配　

　　执行：grant all privileges on *.* to 'root'@'hadoopalone' identified by 'root' with grant option;

　　　　　grant all on *.* to 'root'@'%' identified by 'root';

　　然后执行：flush privileges;（注意分号）

⑥手动创建Hive数据库

　　如果不事先在mysql里创建hive数据库，在进入hive时，mysql会自动创建hive数据库。但是注意，因为我们之前配置过mysql的字符集为utf-8，所以这个自动创建的hive数据库的字符集是utf-8的。
　　但是hive要求存储元数据的字符集必须是iso8859-1。如果不是的话，hive会在创建表的时候报错(先是卡一会，然后报错）。

　　进入mysql执行：create database hive character set latin1;