如何在hiveserver2中查看Hive SQL的运行日志

原创

mob649e816ab022 2024-07-26 09:08:24 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e816ab022的原创作品，请联系作者获取转载授权，否则将追究法律责任

Hive SQL运行日志查看方案

Hive是一个数据仓库工具，用于对存储在分布式存储系统上的大数据进行查询和管理。在Hive中执行SQL语句时，查看其运行日志对于性能分析和问题排查非常重要。本文将介绍如何在HiveServer2中查看Hive SQL的运行日志，并提供一些代码示例。

环境配置

首先，确保你的Hive环境已经配置好，并且HiveServer2服务正在运行。以下是一个基本的Hive环境配置示例：

export HIVE_HOME=/path/to/your/hive
export PATH=$PATH:$HIVE_HOME/bin

启用HiveServer2日志记录

默认情况下，HiveServer2的日志记录可能没有开启或者配置得不够详细。你需要修改Hive的配置文件hive-site.xml来启用更详细的日志记录。

打开hive-site.xml文件，通常位于$HIVE_HOME/conf目录下。
添加或修改以下配置项：

<property>
    <name>hive.root.logger</name>
    <value>INFO,console</value>
    <description>Root logger level and appender names, e.g. 'INFO,console'.</description>
</property>

保存并关闭文件。

使用Hive CLI查看日志

Hive CLI是一个命令行界面，允许你执行HiveQL语句并查看结果。使用Hive CLI时，可以通过设置环境变量来指定日志文件的输出路径。

设置环境变量HADOOP_CLIENT_OPTS来指定日志文件的输出路径：

export HADOOP_CLIENT_OPTS="-Dlog4j.debug=true -Dhive.root.logger=INFO,DRFA"

启动Hive CLI：

hive

执行HiveQL语句。此时，日志将被记录到指定的文件中。默认情况下，日志文件位于Hadoop的临时目录，例如/tmp/hive.log。

使用HiveServer2 JDBC驱动查看日志

如果你使用的是HiveServer2 JDBC驱动来执行HiveQL语句，可以通过设置JDBC连接属性来查看日志。

在JDBC连接字符串中添加日志级别和日志文件输出路径：

String url = "jdbc:hive2://localhost:10000/default;hive.root.logger=INFO,DRFA";
Properties props = new Properties();
props.setProperty("hive.root.logger", "INFO,DRFA");
Connection conn = DriverManager.getConnection(url, props);