HivePreparedStatement addBatch不支持 hive不支持update

转载

ghpsyn 2024-06-20 07:17:36

文章标签 数据库大数据 java hive mysql 文章分类 Hive 大数据

安装包：

apache-hive-2.1.1-bin.tar.gz

安装步骤：

1.上传 apache-hive-2.1.1-bin.tar.gz 到linux;

2.解压文件：

tar zxvf apache-hive-2.1.1-bin.tar.gz

安装mysql (仅支持mysql 5.7以下版本，不支持5.7或更高版本，原因：若采用高版本mysql，部分文档内容需要改写)

sudo yum install mysql-server

4. 安装

sudo yum install mysql-connector-java

该命令会在/usr/share/java/下产生mysql-connector-java.jar

5. 建立链接

ln -s /usr/share/java/mysql-connector-java.jar /usr/local/hadoop-soft/etc/hive-2.1.1/lib/mysql-connector-java.jar

该命令在hive安装目录的lib目录下建立软链接，指向/usr/share/java/mysql-connector-java.jar

6. 启动mysql
sudo service mysqld start

可通过以下命令验证mysql启动成功(显示mysql进程)：

ps aux | grep mysql

修改mysql密码，修改mysql密码(改为newpass，请根据需要自行替换newpass)

mysql> use mysql;

mysql> UPDATE user SET Password = PASSWORD('newpass') WHERE user = 'root';

mysql> FLUSH PRIVILEGES;

允许用户root通过任意机器访问mysql：

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'newpass' WITH GRANT OPTION;

mysql> FLUSH PRIVILEGES;

8. 进入到根目录，配置环境变量：

vim ~/.bash_profile

export HIVE_HOME=/usr/local/hadoop-soft/etc/hive-2.1.1
export PATH=$HIVE_HOME/bin:$PATH

　　运行生效：

source ~/.bash_profile

配置hive

a.进入目录：

cd /usr/local/hadoop-soft/etc/hive-2.1.1/conf

b. 新建并编辑 hive-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://master:9083</value>
    </property>
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master/metastore?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
    </property>
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/usr/local/hadoop-soft/etc/hive-2.1.1/warehouse</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>datanucleus.autoCreateSchema</name>
        <value>true</value>
    </property>
    <property>
        <name>datanucleus.autoStartMechanism</name> 
        <value>SchemaTable</value>
    </property>
    <property>
        <name>datanucleus.schema.autoCreateTables</name>
        <value>true</value>
    </property>

    <property>
        <name>beeline.hs2.connection.user</name>
        <value>master</value>
        </property>
     <property>
        <name>beeline.hs2.connection.password</name>
        <value>master</value>
     </property>
</configuration>

注意：

中的“bigdata“含义为metastore server所在的机器（启动metastore的方法见下一节）

中的“bigdata”为mysql安装机器的hostname

分别为mysql的访问用户和密码，可通过以下命令验证是否有效（期中bigdata为javax.jdo.option.ConnectionURL中配置的地址，xxx为mysql用户名）：

mysql –h bigdata-u xxx –p

为HDFS的namenode启动的机器地址

是beeline方式访问的用户名和密码，可任意指定，但在beeline访问时要写入你指定的这个（具体参考最后一部分）

10.如果是第一次启动hive，需要执行初始化命令

schematool -dbType mysql -initSchema

注意：仅在第一次启动hive时，运行该命令，以后则只需直接启动metastore和hiveserver

11. 启动metastore

nohup hive --service metastore >> /usr/local/hadoop-soft/etc/hive-2.1.1/metastore.log 2>&1 &

12. 启动hive server

nohup hive --service hiveserver2 >> /usr/local/hadoop-soft/etc/hive-2.1.1/hiveserver.log 2>&1 &

13. 查看hive metastore和hiveserver2是否启动成功

ps aux | grep hive

能输出两个进程，分别对应metastore和hiveserver2.

HivePreparedStatement addBatch不支持 hive不支持update_数据库

14. Hive常见两种访问方式

a.不建议使用 hive ，已经被淘汰

b. 建议使用 beeline

15. 修改hadoop 安装目录下，core-site.xml 文件

比如要用root 用户启动 hive server2和hive metastore，则增加配置：

<property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
 </property>

 <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
  </property>

HivePreparedStatement addBatch不支持 hive不支持update_hive_02

16. 之后输入以下命令发起一个连接：

//master:10000/default master master

HivePreparedStatement addBatch不支持 hive不支持update_数据库_03

其中master 和master 分别是在hive-site.xml配置文件中由beeline.hs2.connection.user和beeline.hs2.connection.password设置的。

注：如果要使用beeline或JDBC连接hive时，遇到报错：“User: xxx is not allowed to impersonate yyy”，需在hadoop的配置文件core-site.xml中加入以下配置（其中红色标志的“xxx”是你启动hive server2和hive metastore所采用的用户，

用户名中不要包含“.”，比如“cheng.dong”是不支持的），并重启hiveserver2， hive metastore，HDFS和YARN：